27B大模型上Mac：6-bit量化可复现评测

一、结论的可信范围

在个人Mac上运行27B参数级别的本地模型已经可行，但”能运行”与”好用”之间仍有差距。原评测给出了内存峰值、量化对比和部署建议，但多数数字没有附带模型版本、框架版本、上下文长度和测量方法，读者无法据此复现。

本文保留原评测的主要方向，并把需要验证的数值改写成可执行的复测步骤。原文中的”21至23GB峰值””得分追平某大参数模型””响应速度提升数倍”等数据，在复测前不应直接采信。

二、测试对象与环境约定

测试对象应同时满足三个条件：参数量约27B，为指令微调版本，并且具备视觉输入能力。复测报告至少应记录以下字段：

• 设备：Apple Silicon芯片型号、统一内存容量（36GB、48GB或64GB）。
• 系统：macOS版本，可用 sw_vers 查看。
• 框架：推理框架名称和版本，例如 pip show mlx-lm，或 llama.cpp 的提交号。
• 模型：仓库名或文件名、量化格式（MLX的4bit、6bit、8bit，或GGUF的Q4_K_M、Q6_K、Q8_0）。
• 生成参数：上下文长度、最大生成token数、temperature、top_p、batch大小。

结论只适用于上述组合，不能外推到其他27B模型或其他量化实现。

三、量化位宽与内存占用

权重体积可以按”参数量 × 位宽 ÷ 8”粗略估算。27B模型在6-bit下约为20.25GB（约18.9GiB），4-bit约为13.5GB，8-bit约为27GB。分组量化还会带来缩放因子等额外开销，实际文件略大。运行时的峰值还要加上KV Cache、计算缓存、系统进程和框架开销，所以峰值通常明显高于权重体积。

原评测记录的6-bit峰值为21至23GB，与上述估算处于同一量级，但仍需按下面的方法确认。以mlx-lm为例，先转换模型，再测量峰值：

pip install -U mlx-lm
mlx_lm.convert --hf-path <原始模型仓库> --mlx-path ./model-6bit -q --q-bits 6
/usr/bin/time -l mlx_lm.generate --model ./model-6bit \
  --prompt "请解释这段代码的时间复杂度" --max-tokens 256

/usr/bin/time -l 输出的 “maximum resident set size” 为进程峰值常驻内存，单位是字节。它不完全等同于GPU可用的统一内存，因此还应观察Activity Monitor的内存压力图，并用 sysctl vm.swapusage 记录swap用量。

4bit、6bit、8bit的对比应使用相同提示词、相同上下文长度和相同生成参数。定性判断如下：

• 8bit：在36GB设备上加载后余量很小，长上下文下容易出现