简介:本文以Ollama和llama.cpp为例,讲解轻量多模态小模型的本地部署全过程。读者可以按硬件条件选择参数规模与量化位宽,用curl完成文本与图像请求,并依据首字节延迟和生成速度判断服务是否达标。文末附部署检查清单与回滚步骤,便于复现和长期维护。
本文使用两种常见工具:Ollama 和 llama.cpp。Ollama 安装简单,内置模型仓库,并提供 OpenAI 兼容接口。llama.cpp 可以手动指定量化文件、上下文长度和 GPU 卸载层数,适合需要精细调参的场景。两者都可以替换为 LM Studio 等同类工具,验证步骤保持一致。
本文所说的”轻量”指参数规模在 10B 以下,”多模态”指模型能接收图像输入。同一系列中并非每个模型都带视觉模块,需要在模型卡中确认。命令示例以当前主流版本为准,实际参数名以官方文档为准。
下表给出经验起点,不是保证值。
| 参数规模 | 量化位宽 | 上下文长度 | 建议内存或显存 | 典型用途 |
|---|---|---|---|---|
| 约 1B 以下 | Q4 | 4K | 4GB 内存,CPU 可运行 | 嵌入式验证、简单分类 |
| 约 2B | Q4_K_M | 4K | 8GB 内存,或 4GB 显存 | 个人对话、快速原型 |
| 约 4B | Q4_K_M | 8K | 16GB 内存,或 6GB 显存 | 本地助手、轻量业务 |
| 约 9B | Q4_K_M | 8K | 16GB 显存,或 32GB 内存 | 内网服务、复杂任务 |
上表的测量口径为:Ubuntu 22.04 系统,NVIDIA 驱动 535 及以上,CUDA 环境,单用户请求,batch 为 1。换到其他系统或显卡时,数值会有差异。
量化位宽越高,模型占用越大,效果通常略好。上下文长度增大后,KV cache 占用随之增加,长对话中显存可能耗尽。部分模型支持深度思考模式,开启后首字节延迟明显变长,需要根据业务对速度和质量的要求决定是否开启。
资源不足时,常见症状是模型加载失败、进程被系统终止,或出现 CUDA out of memory 报错。处理方式是换用更小的参数规模,降低量化位宽,或缩短上下文长度。
nvidia-smi # 查看驱动版本与显存,无 NVIDIA 显卡时会报错,可忽略free -h # 查看内存总量与可用量df -h ~ # 确认磁盘剩余空间,模型文件通常为数 GB
Windows 用户可在任务管理器的”性能”页查看内存和显存。
ollama pull <模型名>:<参数规模>ollama run <模型名>:<参数规模>
<模型名> 与 <参数规模> 以 Ollama 模型库页面的写法为准。ollama run 进入交互对话,输入 /bye 退出。Ollama 默认服务地址为 http://127.0.0.1:11434。
运行 ollama ps 可以查看模型当前在 CPU 还是 GPU 上运行,PROCESSOR 列会显示占比。
llama-server \-m ./models/model-Q4_K_M.gguf \--mmproj ./models/mmproj-model-f16.gguf \-c 8192 \-ngl 99 \--host 127.0.0.1 \--port 8080
各参数含义如下:
-m:模型权重文件。--mmproj:视觉投影模块,仅多模态模型需要。纯文本模型不要加这个参数。-c:上下文长度,单位为 token。-ngl:放到 GPU 上运行的层数,99 表示尽量全部放入。没有 GPU 时设为 0。--host 与 --port:监听地址与端口。127.0.0.1 表示只允许本机访问。文件名以实际下载的文件为准。
模型文件下载完成后,计算校验值并与发布页提供的值比对,两者一致才继续部署。
sha256sum ./models/model-Q4_K_M.gguf
校验不一致通常说明下载中断或文件损坏,应重新下载。
Ollama 的接口地址为 http://127.0.0.1:11434/v1/chat/completions,llama.cpp 的接口地址为 http://127.0.0.1:8080/v1/chat/completions。下面以 llama.cpp 为例。
curl http://127.0.0.1:8080/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model": "local","messages": [{"role": "user", "content": "用一句话介绍你自己。"}],"max_tokens": 128,"temperature": 0.7}'
通过标准如下:
choices[0].message.content 非空,文字连贯,无乱码。choices[0].finish_reason 为 stop。若为 length,说明输出被 max_tokens 截断。usage.prompt_tokens 与 usage.completion_tokens 有合理数值。使用 Ollama 时,请把端口改为 11434,并把 model 字段改为实际的模型名。
图像需要以 base64 的 data URL 形式放入请求。下面的命令在