简介:本文按文本、多模态、图像视频、语音等场景整理本地模型选型思路,给出显存估算方法、Ollama安装与GGUF导入步骤,以及本地与云端混合使用的做法。读完可以判断自己的硬件能跑什么,并完成第一个本地模型的运行。
选本地模型,第一步是看任务类型,第二步才是看硬件。参数越大不一定越好。模型超出显存后,要么无法加载,要么大量占用内存和 CPU,回复速度会明显变慢。
下表按场景列出可以先试的方向。模型标签是 Ollama 模型库中的示例,拉取前请在 ollama.com/library 确认。
| 使用场景 | 推荐模型方向 | Ollama 中可先试的模型(示例) | 硬件起点 |
|---|---|---|---|
| 日常对话、文本总结、写作 | 7B~14B 通用模型 | qwen3:8b、gemma3:12b、llama3.1:8b | 8GB 显存可跑量化版 |
| 代码生成与代码解释 | 代码专用模型 | qwen2.5-coder:7b、qwen2.5-coder:14b | 8GB~16GB 显存 |
| 复杂推理与长上下文 | 大参数或 MoE 模型 | qwen3:30b(MoE,总参数约 30B,单次激活约 3B) | 24GB 显存,或大内存配合 CPU 推理 |
| 图文理解 | 视觉语言模型 | qwen2.5vl:7b、gemma3(4B 及以上支持图片输入)、minicpm-v | 8GB~16GB 显存 |
| 文生图 | 扩散模型 | 通过 ComfyUI 加载 FLUX.1 schnell、Stable Diffusion XL 等开源权重 | 12GB 以上显存更稳 |
| 视频生成 | 开源视频生成模型 | 以官方发布的 Wan 系列等开源权重为准 | 16GB~24GB 以上显存 |
| 语音克隆与合成 | TTS / 声音克隆模型 | GPT-SoVITS、CosyVoice 系列 | 6GB~12GB 显存 |
模型迭代很快,同名模型的不同版本能力差别可能很大。选定模型前,请以官方发布页或模型库页面的说明为准。
普通电脑想先跑起来,可以从 7B~8B 级别的量化模型开始。想接近生产环境使用,则要考虑 30B 级 MoE 模型、更长的上下文和更稳定的推理框架。
数据不出本机
聊天记录、合同、内部文档和私有代码默认留在本地设备上。如果数据涉及客户隐私或内部资料,这一点比价格更重要。
成本取决于用量
本地推理没有按 Token 计费的 API 费用,但要承担硬件购置、电费和维护时间。是否划算取决于用量。可以比较每月云端 API 费用,与硬件折旧、电费和维护时间的合计成本。调用量少时,云端通常更省事;高频固定任务才更容易回本。
可以改造和扩展
本地模型可以接入 RAG 知识库,也可以用 LoRA 做微调,或者通过 ComfyUI、Agent 框架组合成完整流程。修改权在自己手里,不受第三方接口变更影响。
离线可用
无网络、弱网或内网隔离环境中,本地模型仍能提供服务。适合工厂、实验室、车载和边缘设备等场景。
本地部署也有边界。硬件门槛较高,模型能力通常弱于最新的云端旗舰模型,上下文长度和推理速度受硬件限制,模型更新和运维也要自己负责。
本地推理时,最先耗尽的通常是显存(GPU 显存),其次是系统内存。可以用下面的公式做初步估算:
显存需求 ≈ 模型参数量 × 每参数字节数 + KV Cache + 框架开销
每参数字节数取决于精度:FP16 约为 2 字节,INT8 约为 1 字节,INT4 量化后约为 0.5 字节。GGUF 量化格式还会带来少量缩放参数的额外开销。KV Cache 随上下文长度和并发请求数增加,上下文越长,占用越大。框架开销包括推理引擎本身和显卡驱动占用的空间。
下表只计算模型权重,用于快速比较。它不含 KV Cache 和框架开销,实际占用会更高。
| 模型规模 | FP16 | INT8 | INT4(约 Q4 量化) | 常见用途 |
|---|---|---|---|---|
| 7B~9B | 约 14GB~18GB | 约 7GB~9GB | 约 4GB~6GB | 轻量对话、本地知识库 |
| 14B | 约 28GB | 约 14GB~15GB | 约 8GB~9GB | 更稳定的文本生成、代码辅助 |
| 30B 级 MoE(总参数约 30B,激活约 3B) | 约 60GB | 约 30GB | 约 18GB~19GB | 复杂推理、长上下文、Agent 任务 |
MoE 模型每次推理只激活一部分专家网络,速度可能比同等总参数的稠密模型快。但模型权重仍要全部加载,所以总参数决定了所需的显存、内存和磁盘空间。
选型建议:
Ollama 是个人用户上手本地模型最省事的工具之一。它支持下载、运行和管理模型,也能导入本地的 GGUF 文件。
前往官网下载对应系统的安装包:https://ollama.com/download
安装后,在终端检查版本:
ollama --version
默认目录通常位于系统盘,单个模型可能有数 GB 到数十 GB,容易占满空间。推荐用环境变量 OLLAMA_MODELS 指定目录。
Windows 操作步骤:
D:\Models。OLLAMA_MODELS,值 D:\Models。Linux 或 macOS:在 shell 配置文件中添加 export OLLAMA_MODELS=/data/ollama/models,然后重新打开终端并重启 Ollama 服务。若以 systemd 方式运行,需要在服务的环境变量中设置该路径。
迁移旧模型时,先把默认目录中的内容复制到新目录,确认新目录中的模型能正常运行,再删除旧文件。直接删除默认目录会丢失已下载的模型,重新下载可能需要很长时间。
部分版本的客户端设置页也提供模型目录选项,以你所用版本的界面为准。
ollama pull qwen3:8bollama run qwen3:8b
pull 只下载模型。run 在模型尚未下载时会自动下载,然后进入对话。查看已安装的模型:
ollama list
如果内存或显存不够,可以换成更小的标签,例如 7B 或 8B 的版本。
如果已经从其他渠道下载了 GGUF 文件,可以用 Modelfile 导入。下面的文件名是占位示例,请换成你实际下载的文件名,并确保文件与 Modelfile 在同一目录。
FROM ./你的模型文件.ggufPARAMETER num_ctx 8192PARAMETER temperature 0.7
创建并运行:
ollama create my-local-model -f Modelfileollama run my-local-model
num_ctx 设置上下文窗口,数值越大越占显存和内存。如果 create 失败,通常是因为 GGUF 的模型架构不被当前版本的 Ollama 支持,或文件不完整。请对照模型页面的说明和文件大小进行核对。
只需要聊天时,Ollama 已经够用。需要更完整的应用时,可以按用途选择组件:
本地部署不必完全取代云端模型。常见做法是本地优先:
如果需要同时接入多个云端模型,并比较价格和性能,可以使用统一 API 平台。百度智能云提供的词元所支持模型发现、价格与性能对比、多模型统一接入和调用管理。这是商业服务,本文没有对其效果做独立评测,选型前请以官方文档和实际测试为准。
刚开始接触本地部署,就从 Ollama 和 7B~8B 量化模型开始,跑通下载、运行、导入、调用的完整流程。确认硬件和工作流都没有问题后,再升级到 14B、30B 级 MoE、多模态或文生图模型。
本地部署的目标不是运行最大的模型,而是在硬件能承受、任务能完成、数据能控制之间找到平衡。