简介:本文面向有命令行基础的开发者,先按 12GB、16GB、24GB 显存选择模型,再用 Ollama 或 llama-server 启动 OpenAI 兼容接口,并配置密钥、监听地址、防火墙、日志轮转与自动恢复。读完可以搭出一套能验证、能长期维护的本地服务。
显存是本地部署的首要限制。估算时要同时考虑模型权重和 KV cache 两部分。
1. 模型权重
权重占用约等于参数量乘以每个参数的字节数。4bit 量化每个参数约 0.5 字节,8bit 约 1 字节。以 27B 模型为例,4bit 权重的理论值约为 13.5GB。实际发布的 Q4_K_M 等量化文件通常更大,部署前应以下载到的文件大小为准。
2. KV cache
生成文本时,模型要缓存每个 token 的注意力键和值。这部分占用随上下文长度增长,同时处理的请求越多,占用也越多。估算公式如下:
KV cache 字节数 = 2 × 层数 × KV 头数 × 头维度 × 上下文 token 数 × 每元素字节数
FP16 缓存每个元素占 2 字节。假设某模型有 64 层、8 个 KV 头、头维度 128,单个请求的上下文为 8192 token 时,计算结果为 2 × 64 × 8 × 128 × 8192 × 2 = 2,147,483,648 字节,约 2GB。
这些参数从模型目录的 config.json 中读取,字段通常是 num_hidden_layers、num_key_value_heads 和 head_dim。没有 head_dim 字段时,可以用 hidden_size 除以 num_attention_heads 估算。DeepSeek 系列等采用 MLA 结构的模型会缓存压缩后的潜在向量,不能直接套用这个公式,应以实测为准。
3. 选型参考
下表的口径为单用户、4bit 量化、常见上下文长度。表中数字用于初步筛选,最终以实测为准。
| 显存 | 推荐模型规模 | 建议上下文 | 说明 |
|---|---|---|---|
| 12GB | 7B 至 14B(4bit) | 4K 至 8K | 14B 的 4bit 文件通常在 9GB 上下,余量有限,不建议运行 27B |
| 16GB | 14B(4bit) | 8K 左右 | 可以舒适运行。27B 需要把部分层放到内存,速度明显下降 |
| 24GB | 27B(4bit) | 4K 至 8K 起步 | 可以运行,有一定余量,适合作为日常主力模型 |
| 32GB 及以上 | 27B(8bit) | 按需 | 8bit 权重约为 4bit 的两倍,27B 的 8bit 文件约 27GB,需要 32GB 才能留出 KV cache 空间 |
同一个模型从 4bit 换到 8bit,权重大约翻倍。例如 14B 的 8bit 权重约 14GB,可以在 24GB 显卡上运行,但要控制上下文长度。
32B 模型在 24GB 显卡上余量很小。部署前先下载实际文件,按文件大小加上 KV cache 估算,确认总占用后再决定上下文长度。
4. 内存与磁盘
内存建议 32GB 以上,避免加载模型时系统频繁换页。磁盘建议预留 60GB 以上的 SSD 空间。一个 27B 量化模型文件就可能有十多 GB,机械硬盘会明显拖慢加载速度。
| 工具 | 模型格式 | 常用接口地址 | 适合场景 |
|---|---|---|---|
| Ollama | 自带模型库,多为 GGUF | http://127.0.0.1:11434/v1 | 个人本机使用,安装和拉取模型最简单 |
| llama-server(llama.cpp) | GGUF 文件 | http://127.0.0.1:8080/v1 | 需要指定层卸载、上下文长度和 API 密钥 |
| vLLM | Hugging Face 格式权重 | http://127.0.0.1:8000/v1 | 多并发服务,需要 CUDA 环境和较多显存 |
只在本机给编辑器或脚本提供接口时,先用 Ollama。需要精细控制参数并设置密钥时,选择 llama-server。需要多个请求同时处理时,再考虑 vLLM。
并发会消耗上下文空间。llama-server 的 -np 参数决定并行槽位数,而 -c 是所有槽位共享的总上下文。-np 4 配合 -c 8192 时,每个请求最多只能使用约 2048 token。Ollama 的并发数由 OLLAMA_NUM_PARALLEL 控制,同样会增加显存占用。
vLLM 需要根据显存情况调整 gpu-memory-utilization,否则容易启动失败或挤占其他程序的显存。下文以 Ollama 和 llama-server 为例。
1. 驱动与 CUDA
在终端运行以下命令,确认能看到显卡型号和显存总量。
nvidia-smi
输出右上角的 CUDA Version 是驱动支持的最高版本。如果你要自己编译 llama.cpp 并使用 CUDA 工具包,工具包版本不能超过这个数字。Ollama 自带运行时,只要求驱动版本足够新。
如果命令报错,说明驱动未正确安装,需要先修复驱动。模型加载后,再运行一次 nvidia-smi,确认显存占用与估算接近。
2. 磁盘与模型文件
df -h /srv
确认挂载点有足够空间。llama-server 示例使用 /srv/models 存放 GGUF 文件,并把目录设为服务用户可读:
sudo mkdir -p /srv/modelssudo chmod 755 /srv/modelssudo chmod 644 /srv/models/*.gguf
3. 创建专用服务用户
服务进程不应以 root 或个人账号运行。创建一个没有登录权限的系统用户:
sudo useradd --system --no-create-home --shell /usr/sbin/nologin llama
如果服务启动后提示无法打开 /dev/nvidia*,检查设备权限,并把该用户加入对应的用户组,常见为 video。
按官方文档安装 Ollama,然后拉取模型。下面以 qwen2.5:14b 为例,实际名称以 Ollama 模型库为准:
ollama pull qwen2.5:14b
上下文长度和 GPU 层数通过 Modelfile 设置。新建文件 Modelfile:
FROM qwen2.5:14bPARAMETER num_ctx 8192PARAMETER num_gpu 99
num_ctx 是上下文长度,num_gpu 是卸载到显卡的层数,99 表示尽量全部卸载。创建本地模型并测试:
ollama create local-14b -f Modelfileollama run local-14b "你好"
运行 ollama ps 可以查看模型是完全在 GPU 上,还是部分放在 CPU 上。出现 CPU 占比时,说明显存不够,应降低 num_gpu 或上下文长度。
验证 OpenAI 兼容接口:
curl http://127.0.0.1:11434/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model":"local-14b","messages":[{"role":"user","content":"用一句话介绍你自己"}]}'
返回的 JSON 中 choices 字段包含回复内容,说明接口可用。
下载或编译 llama.cpp 后,按实际路径和参数启动:
llama-server -m /srv/models/qwen2.5-14b-instruct-q4_k_m.gguf \-c 8192 -ngl 99 -np 1 \--host 127.0.0.1 --port 8080 \--api-key "$LLAMA_API_KEY"
参数含义如下。-m 指定 GGUF 文件路径。-c 设置上下文长度。-ngl 设置卸载到显卡的层数,99 表示全部卸载,显存不足时逐步调小。-np 设置并行槽位数,单用户使用时设为 1。—host 和 —port 决定监听地址和端口。—api-key 设置访问密钥。
命令行参数可以被同机其他用户通过 ps 看到。正式运行时应使用第六节的 systemd 服务,把密钥放在权限受限的环境文件中。
验证接口。没有密钥的请求应被拒绝:
curl -i http://127.0.0.1:8080/v1/models
应返回 401。带上密钥后应返回模型列表:
curl http://127.0.0.1:8080/v1/models -H "Authorization: Bearer $LLAMA_API_KEY"
1. 监听地址
监听地址决定谁能连上服务。127.0.0.1 只接受本机连接。0.0.0.0 表示监听本机所有 IPv4 地址,局域网内的其他机器都可能访问它。如果路由器做了端口转发,公网也可能访问到它。
用下面的命令检查实际监听情况:
ss -lntp | grep -E ':(11434|8080)\b'
输出 127.0.0.1:8080 表示只有本机可以访问。输出 0.0.0.0:8080 或 *:8080 时,需要确认防火墙规则。
2. 密钥管理
llama-server 通过 Authorization: Bearer 请求头校验密钥。密钥应足够长且随机。下面的命令生成一个 64 位十六进制密钥,并写入只有 root 可读的环境文件:
sudo mkdir -p /etc/llamasudo sh -c 'printf "LLAMA_API_KEY=%s\n" "$(openssl rand -hex 32)" > /etc/llama/llama.env'sudo chown root:root /etc/llama/llama.envsudo chmod 600 /etc/llama/llama.env
不要使用短密码或示例密钥。密钥泄露后,替换环境文件中的值并重启服务即可轮换。
Ollama 没有内置 API 密钥功能。需要让局域网内其他设备访问时,应保持 Ollama 监听 127.0.0.1,再在前面加一层反向代理,例如 Caddy 或 Nginx,由代理负责 TLS 加密和密钥校验。不要直接把 11434 端口开放到网络上。
3. 防火墙
只在本机使用时,保持 127.0.0.1 监听即可,无需开放端口。需要局域网访问时,用 ufw 只允许指定网段访问指定端口。下面的命令先放行 SSH,避免启用防火墙后无法远程登录。执行前请确认 SSH 端口号:
sudo ufw default deny incomingsudo ufw allow OpenSSHsudo ufw allow from 192.168.1.0/24 to any port 8080 proto tcpsudo ufw enablesudo ufw status verbose
192.168.1.0/24 需要替换为你自己的局域网网段。不要在路由器上对 8080 或 11434 端口做转发。
1. systemd 服务
把 llama-server 注册为 systemd 服务,可以在崩溃或重启后自动拉起。先用 which llama-server 确认二进制路径,然后新建 /etc/systemd/system/llama-server.service:
[Unit]Description=llama-server OpenAI compatible APIAfter=network-online.targetWants=network-online.target[Service]User=llamaGroup=llamaEnvironmentFile=/etc/llama/llama.envExecStart=/usr/local/bin/llama-server -m /srv/models/qwen2.5-14b-instruct-q4_k_m.gguf -c 8192 -ngl 99 -np 1 --host 127.0.0.1 --port 8080 --api-key ${LLAMA_API_KEY}Restart=on-failureRestartSec=5StartLimitIntervalSec=300StartLimitBurst=5NoNewPrivileges=truePrivateTmp=true[Install]WantedBy=multi-user.target
Restart=on-failure 表示异常退出时自动重启。RestartSec=5 让服务等待 5 秒再启动,避免快速循环。StartLimitIntervalSec 和 StartLimitBurst 限制 5 分钟内最多尝试 5 次。超过上限后 systemd 停止重试,故障会保留在状态中,便于排查。
启用并启动服务:
sudo systemctl daemon-reloadsudo systemctl enable --now llama-serversudo systemctl status llama-server
Ollama 的官方安装脚本会创建 systemd 服务。运行 systemctl cat ollama 可以查看服务文件。需要固定监听地址时,执行 sudo systemctl edit ollama,写入下面的内容,然后执行 sudo systemctl restart ollama:
[Service]Environment="OLLAMA_HOST=127.0.0.1:11434"
2. 日志
日志方案二选一。
第一种交给 journald 管理,这是 systemd 服务的默认行为。需要限制日志占用空间时,新建 /etc/systemd/journald.conf.d/llama.conf:
[Journal]SystemMaxUse=2GMaxRetentionSec=2week
执行 sudo systemctl restart systemd-journald 生效。查看日志使用 journalctl -u llama-server -f。
第二种写入文件并用 logrotate 轮转。在 [Service] 段中加入以下两行,并删除默认输出配置:
StandardOutput=append:/var/log/llama/server.logStandardError=inherit
创建目录并设置归属:
sudo mkdir -p /var/log/llamasudo chown llama:llama /var/log/llama
新建 /etc/logrotate.d/llama-server:
/var/log/llama/server.log {dailyrotate 14compressdelaycompressmissingoknotifemptycreate 0640 llama llamacopytruncate}
copytruncate 让 logrotate 先复制再清空文件,因为服务进程仍持有该文件的句柄,这样无需重启服务。日志权限设为 0640,只允许服务用户和其所属组读取,避免其他账号看到请求内容。
用下面的命令做一次预演,确认配置无误:
sudo logrotate -d /etc/logrotate.d/llama-server
3. 验证自动恢复
模拟一次进程崩溃,观察服务是否自动拉起:
sudo systemctl kill -s SIGKILL llama-serversleep 10systemctl status llama-server
状态中显示 active (running),并且 Main PID 已经变化,说明自动恢复生效。随后重复第四节的 curl 命令,确认接口仍然可用。