模型压缩
更新时间：2025-04-25
量化压缩策略说明
WxAxCx中W、A、C分别代表模型权重（weight）、激活（activation）和键值缓存（kv cache），数字x代表模型压缩后相应部分的比特数。模型压缩过程后，高比特浮点数会映射到低比特量化空间，从而达到降低显存占用、提升推理性能等目的。
- 量化方法：开源模型量化主要使用GPTQ、weight-only。
- 精度说明：未压缩前的精度都是BF16；压缩后精度默认为INT；FP精度特殊标识。举例说明：
| 策略 | 权重 | 激活 | KV Cache |
|---|---|---|---|
| W8A16（WINT8） | INT8 | BF16 | BF16 |
| W4A16 | INT8 | BF16 | BF16 |
| Wfp8Afp8Cfp8 | FP8 | FP8 | FP8 |
| W4A6Cfp8 | INT4 | BF16 | FP8 |
模型压缩支持范围
文心模型
| 模型版本 | 量化压缩 > W8A8C8-PTQ | 量化压缩 > W8A8C16-PTQ | 量化压缩 > W8A16C16 | 量化压缩 > W4A16C16 | 稀疏化 |
|---|---|---|---|---|---|
| ERINE-Lite-128K-0419 | ✓ | ||||
| ERNIE-Lite-8K-0308 | ✓ | ||||
| ERNIE-Tiny-8K | ✓ |
开源模型
| 模型 | 压缩策略 | 备注 |
|---|---|---|
| QWQ-32B | W8A8C16、W4A16 | 注：当部署至V型卡上，上下文长度从32K缩短到8K |
| Qwen2.5-1.5b-instruct | W8A8C16 | |
| Qwen2.5-7b-instruct | W8A8C16 | |
| Qwen2.5-14b-instruct | W8A8C16 | |
| Qwen2.5-32b-instruct | W8A8C16、W4A16 | |
| Deepseek-R1-Distill-Qwen-14B | W8A16、Wfp8Afp8Cfp8、W4A16Cfp8 | |
| Deepseek-R1-Distill-Qwen-7B | W8A16、Wfp8Afp8Cfp8、W4A16Cfp8 | |
| DeepSeek R1 | W8A16 | 当前仅支持压缩后VII型号卡部署 |
| DeepSeek V3 | W8A16 | 当前仅支持压缩后VII型号卡部署 |
| BLOOMZ-7B | W8A16、W4A16、稀疏化>50% |
注意：1. PTQ压缩策略依赖模型精调时所使用的全部数据集，该数据集有删除时无法选择PTQ压缩策略。
操作指南
创建模型压缩任务
登录到本平台，在左侧功能列选择模型压缩，进入模型压缩主任务界面。
点击“创建压缩任务”按钮，进入新建压缩任务页面。(若没有该按钮，请查看任务计费说明）
由用户填写评估任务所需的基本信息、压缩配置、资源配置。
基本信息
填写压缩任务名称、压缩任务描述。
压缩配置
- 选择源模型: 此处支持选择用户希望压缩的模型，支持从『我的模型』中选择（不支持选择预置模型）。具体支持范围详见模型压缩支持范围 。
- 模型创建方式：选择压缩后模型的保存方式，支持保存为已有模型新版本（默认为最新版本）或保存为新模型（默认V1版本）。
- 选择已有模型：同一模型各版本的基础模型需保持一致，已自动过滤不符合要求的模型。
查看压缩任务详情
进入“模型压缩 > 详情 > 任务详情“中查看压缩任务详情页，回溯压缩任务相关配置。
查看压缩任务日志
平台支持查看本次模型压缩任务的详细日志。可以查看其从创建开始到任务结束的日志内容，支持下载到本地保存(txt格式)。
以下为部分日志展示：
可通过日志查看报错，调整任务配置重新发起；或在提交工单时，粘贴日志中的报错由百度技术服务团队协助排查。
压缩任务计费说明
当前模型压缩功能限时免费。