一、先确认本地部署是否适合你

本地部署适合三类需求：数据不能出内网，例如代码、合同、病历；网络不稳定或需要离线使用，例如野外、工厂车间、差旅；调用量高且希望费用固定。

以下情况应优先考虑云端托管：需要同时承接几十路以上并发，需要顶级多模态能力或很长的推理链，或者团队没有基础运维人力。

需要说明的是，“无API费用”不等于“零成本”。硬件折旧、电费、机器维护和运维工时都要计入总成本。文中不引用第三方评分或社区点赞数，因为这些数字缺少测试条件，无法直接用于选型。模型是否胜任你的任务，应由你自己的测试集决定。

二、按显存选择量化版本

量化会压缩权重，降低显存占用，同时带来一定的质量损失。下表是按稠密27B模型估算的文件体积，实际大小取决于具体量化格式，下载后以文件的真实体积为准。

量化级别	约文件体积	建议显存加内存合计	适用场景
Q4_K_M 类	15～17GB	不低于24GB	日常问答、轻度使用
Q6_K	20～24GB	不低于32GB	质量与资源平衡
Q8_0	27～30GB	不低于40GB	代码生成、质量优先
BF16 全精度	约54～56GB	不低于64GB	评测基线、二次开发

“建议显存”已经包含一部分KV缓存和系统开销。上下文越长，需要的余量越大。

KV缓存的大小可以用下面的公式估算：

KV缓存字节数 ≈ 2 × 层数 × KV头数 × 每头维度 × 上下文长度 × 每个元素的字节数（f16为2）

下面是一个假设数值的例子：64层、8个KV头、每头维度128、上下文32768、f16精度。结果为 2 × 64 × 8 × 128 × 32768 × 2 字节，约8GB。真实模型的参数应从模型配置文件读取。启动后，推理引擎日志也会打印KV缓存的实际分配大小，应以日志为准。

显存不足时，有三种处理方式，成本从低到高排列如下：缩短上下文；降低量化级别；把部分层放到内存中运行。三者可以组合使用，但每次只改一项，便于定位问题。

三、架构与关键组件

本地部署大模型，本质上是搭建一个推理服务。可以从五层理解它：

架构层	关键组件	作用
计算层	GPU，或CPU加大内存	执行矩阵运算，决定可运行的量化级别和上下文长度
模型文件层	不同量化级别的权重文件	决定磁盘占用和加载所需的内存
推理运行时层	开源推理引擎	加载权重，管理KV缓存，执行采样
服务层	HTTP接口服务	对外提供对话接口，管理端口、并发和鉴权
运维层	日志、监控、进程守护	保证服务长期稳定运行

投机解码是一种提速手段。小的草稿模型先预测若干token，大模型再一次性验证。在标准采样方式下，理论上输出分布不变，但实现细节和数值误差仍可能带来差异，因此启用后要做质量回归。

多token预测（MTP）是另一种做法。模型自身带有额外的预测头，一次前向计算可以输出多个候选token。它需要模型权重和推理引擎同时支持，不能假设所有模型都能用。两者的区别在于：投机解码依赖一个额外的草稿模型，MTP依赖模型自带的预测结构。

四、准备工作

硬件与驱动。 安装与GPU匹配的驱动和基础编译工具。使用NVIDIA显卡时，需要先确认CUDA版本与驱动兼容。

权重文件。 从模型托管平台下载GGUF格式的量化文件，并用发布方提供的SHA256值校验完整性。校验失败的文件不要加载，否则会产生难以定位的错误。

磁盘空间。 预留模型体积两倍以上的空间，用于升级和保留旧版本。

目录规划。 推荐如下结构，模型、配置和日志分开存放：

/opt/llm/
  models/dense-27b/v1/model-Q8_0.gguf   # 版本化的模型文件
  models/dense-27b/current -> v1        # 指向当前版本的符号链接
  config/launch.sh                      # 启动脚本
  logs/                                 # 服务日志

运行账号。 创建专用的系统账号运行服务，不要使用root。

五、部署流程（以llama.cpp为例）

下面的流程以llama.cpp为例。版本号和参数名以仓库文档和 --help 输出为准，不同版本可能有差异。

第一步：编译推理引擎。

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j

没有NVIDIA显卡时，去掉 -DGGML_CUDA=ON，改用CPU构建，或按文档选择其他后端。

第二步：用小模型验证环境。 先用一个几百MB的小模型启动服务，确认编译产物和运行环境正常。这一步可以把“环境问题”和“资源问题”分开。

第三步：编写启动脚本。

```bash

!/usr/bin/env bash

示例启动脚本，路径和参数请按实际环境修改

MOD