简介:本文以8G显存NVIDIA显卡为例,讲解如何用Ollama在本地运行9B量化模型。内容包括驱动检查、模型拉取、API测试、上下文长度设置、局域网安全配置,以及GPU未识别时的排查步骤,可照着命令直接执行。
本文面向有基础命令行经验的开发者。结论是:8G显存可以运行90亿参数(9B)模型的4-bit量化版本。这类模型权重约5至6GB,加上KV cache(推理时缓存上下文的显存)和运行时开销后,只适合中等长度的上下文和单路请求。8-bit量化版本的权重约9GB,超出8G显存,无法完整放入显卡。超出显存的部分会交由CPU计算,速度会明显下降。
按本文步骤部署完成后,本机将提供断网可用的推理服务,并通过HTTP接口供其他程序调用。
本文中的“9B”即90亿参数,指模型的参数规模。量化是把权重从16位浮点压缩为更少比特的过程,4-bit量化能显著减少显存占用,代价是输出质量略有下降。
本地推理系统可以分为四层:
在终端执行:
nvidia-smi
正常输出会显示显卡型号、驱动版本和显存总量。输出右上角的“CUDA Version”是该驱动支持的最高CUDA版本,它并不代表已安装的CUDA Toolkit版本,读者不必据此判断Toolkit是否安装。
Ollama对驱动版本有最低要求,且该要求会随版本更新而变化。具体数字请以Ollama官网文档的系统要求页面为准,安装前核对一次。实际操作中,建议直接安装NVIDIA官网提供的最新稳定版驱动。驱动过旧时,Ollama可能无法使用GPU,只会退回CPU推理。
如果nvidia-smi无法执行或找不到显卡,请到NVIDIA官网下载与显卡型号和操作系统匹配的驱动,重新安装后重启电脑,再执行一次该命令。
Linux用户可以使用官方安装脚本。执行前请先在Ollama官网核对最新命令:
curl -fsSL https://ollama.com/install.sh | sh
Windows用户可以从Ollama官网下载安装包,运行后按提示完成安装。
安装完成后验证版本:
ollama --version
输出版本号即说明命令已可用。Ollama默认监听127.0.0.1:11434。如果服务没有自动启动,可以手动执行ollama serve。
Ollama的模型标签由模型发布者定义,名称因模型而异。选择模型的步骤如下:
本文以gemma2:9b为例说明流程,该标签在模型库中为9B参数、4-bit量化。读者可以换成其他9B模型的标签。标签会随发布者更新而变化,请以模型库页面为准。
拉取模型:
ollama pull gemma2:9bollama list
ollama list会显示模型在磁盘上的大小。Q4量化的9B模型通常在5至6GB左右。如果体积明显偏大,请检查是否选错了量化版本。8-bit版本约9GB,同样的模型用8-bit标签会超出8G显存。
查看模型详细信息:
ollama show gemma2:9b
核对输出中的参数量和量化格式是否与模型页一致。确认无误后启动交互对话:
ollama run gemma2:9b
首次启动需要把权重从内存载入显存,通常需要数秒到十几秒。
上下文越长,KV cache占用越大。8G显存下应主动限制num_ctx(上下文窗口长度)。新建一个名为Modelfile的文件,内容如下:
FROM gemma2:9bPARAMETER num_ctx 4096
然后执行:
ollama create my-9b -f Modelfileollama run my-9b
4096是合适的起点。实际可用值取决于显存余量,需要结合后文的资源验证结果调整。
默认情况下,Ollama只接受本机访问。如果需要让局域网内其他设备调用,需要把监听地址改为0.0.0.0。
风险提示:Ollama的API默认没有身份认证。任何能访问该端口的设备都可以使用模型并占用GPU。请只在可信局域网中开放,并配合防火墙限定网段。不需要时请恢复为127.0.0.1。
sudo systemctl edit ollama.service
在打开的编辑器中写入:
[Service]Environment="OLLAMA_HOST=0.0.0.0:11434"
保存后重新加载并重启服务:
sudo systemctl daemon-reloadsudo systemctl restart ollama
在“系统环境变量”中新增OLLAMA_HOST,值为0.0.0.0:11434。然后从系统托盘退出Ollama,再重新启动,设置才会生效。
以下示例假设可信网段为192.168.1.0/24,请替换为实际网段。
Ubuntu等使用ufw的系统:
sudo ufw allow from 192.168.1.0/24 to any port 11434 proto tcpsudo ufw status
使用firewalld的系统:
sudo firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.1.0/24" port port="11434" protocol="tcp" accept'sudo firewall-cmd --reload
Windows(以管理员身份运行PowerShell):
New-NetFirewallRule -DisplayName "Ollama LAN" -Direction Inbound -Protocol TCP -LocalPort 11434 -RemoteAddress 192.168.1.0/24 -Action Allow
不再需要局域网访问时,请删除对应的防火墙规则,并把OLLAMA_HOST恢复为127.0.0.1:11434后重启Ollama。
在另一台设备上执行:
curl http://<主机IP>:11434/api/tags
返回模型列表即表示访问正常。如果超时,请检查防火墙规则和Ollama是否已重启。
部署完成后,从三个维度确认服务可用。
1. 交互验证:在ollama run中输入测试问题,观察回答是否连贯、有无乱码。
2. API验证:通过REST接口发送请求:
curl http://127.0.0.1:11434/api/generate -d '{"model":"gemma2:9b","prompt":"用一句话介绍你自己","stream":false}'
返回的JSON中包含response(回答内容)、eval_count(生成的token数)和eval_duration(生成耗时,单位纳秒)。生成速度按以下公式计算:
tokens/s = eval_count ÷ (eval_duration ÷ 1,000,000,000)
3. 资源验证:推理期间分别执行以下两条命令:
nvidia-smiollama ps
nvidia-smi用于查看显存占用和GPU利用率。ollama ps的PROCESSOR列显示模型的运行位置。显示“100% GPU”表示模型完全在显卡上运行。显示类似“30%/70% CPU/GPU”的结果表示部分层落到了CPU,速度会明显变慢,需要降低量化级别或上下文长度。
速度取决于显卡型号、量化版本、上下文长度和并发数,本文不给出固定速度指标。建议按不同num_ctx(如2048、4096)分别测量tokens/s,并按下表记录,作为本机基线:
| 显卡型号 | 模型标签 | num_ctx | 生成速度(tokens/s) | ollama ps占比 | 显存占用(nvidia-smi) |
|---|---|---|---|---|---|
| gemma2:9b | 2048 | ||||
| gemma2:9b | 4096 |
每次测量建议重复3次取平均值,并在测量前关闭占用显存的其他程序。
1. 显存不足,模型部分运行在CPU上
ollama ps的输出,确认CPU占比。num_ctx的值,例如从4096降到2048。2. GPU未被识别
按以下顺序排查:
nvidia-smi。如果报错,先重新安装驱动并重启电脑。journalctl -u ollama --no-pager | tail -n 100,Windows打开%LOCALAPPDATA%\Ollama\server.log。在日志中搜索cuda或inference compute,确认Ollama是否识别到了GPU。CUDA_VISIBLE_DEVICES,确认其值没有把显卡屏蔽(例如设为-1会禁用GPU)。ollama serve,观察启动时打印的显卡信息。完成以上步骤后,再次执行ollama ps。显示“100% GPU”即表示GPU已被正常使用。
在8G显存上运行9B模型,关键在于选对4-bit量化版本、限制上下文长度,并通过ollama ps确认模型完全在GPU上运行。局域网开放会带来访问风险,应始终配合防火墙网段限制,并在不需要时恢复本机监听。