简介:同一目标——让模型"变强",业界却存在两条路径截然不同的实现方式:一条是传统的"喂数据、算梯度、多轮训练"的重训微调,另一条是"由一个已训练好的前沿模型直接改写目标模型权重"。本文以某公开实验(仅改动约0.016%的权重,就让某小参数模型在几个数学与指令类基准上的得分大幅提升)为切入点,系统对比这两条路径在技术架构、成本结构、可控性、风险、适用场景与迁移运维上的差异,帮助开发者在"改什么、怎么改、如何评估、何时切换"这些实际问题上做出理性、条件化的判断。
过去我们让 AI 帮忙写代码、写文案;而现在,研究者开始让一个模型去”修改”另一个模型内部的数字——不是换一句提示词,也不是往知识库里塞资料,而是直接改动决定信息如何在神经网络里流动的参数。某研究团队公布的一组结果很有冲击力:一个已训练好的前沿大模型(下称”编辑模型”),只对一个约八亿参数的开源小模型(下称”目标模型”)改动了约 0.016% 的权重(131,072 个参数),就把目标模型在某数学评测基准上的得分从 7.9% 拉到了 48.1%;同时在另一数学基准与某指令遵循评测上也有明显提升。[据该公开实验报告,非本文实测]
这组数字容易让人得出”AI 已经觉醒””能力暴涨六倍”的夸张结论。但对做技术选型、方案评估的开发者与架构师来说,真正有价值的问题不是”它是不是变聪明了”,而是:“直接改写权重”这条路,和我熟悉的”传统微调/重训”相比,到底差在哪?各自适合什么场景?切换过去要付出什么代价?
这正是本文要做的对比:路径 A(权重编辑/直接改参数)与路径 B(传统梯度微调)。
路径 B:传统梯度微调(重训)
让模型在训练数据上做题,前向计算输出、反向传播得到损失对参数的梯度,再用梯度下降等优化算法多轮更新权重,直到损失收敛。它会更新大量参数,依赖标注或构造的训练样本,需要训练循环与梯度信息。
路径 A:权重编辑(由一个模型直接改写另一个模型的参数)
实验里禁止的是训练循环与梯度信息。改动的做法是由编辑模型分析目标模型的内部表示,定位到一个与问题(这里是”思考时反复绕圈、直到触及输出长度上限”)相关的方向,然后在指定层的前馈模块中沿该方向做减法,直接写入参数。修改后,目标模型触及长度上限的比例从 93.0% 降到 33.1%。[据该公开实验报告]
一句话总结两者的根本差别:路径 B 是”用数据和梯度反复打磨”,路径 A 是”用分析定位病灶、直接下刀”。
示意性伪代码(仅表达”沿方向做减法”这一通用思想,非任何专有工具):
# 定位到与问题相关的方向 v(单位化),并在指定层做减法for layer_id in target_layers: # 例如第 15、19 层的前馈模块W_out = model[layer_id].ffn.out_proj.weightfor col in selected_output_columns: # 每层挑出被选中的输出列w = W_out[:, col]proj = (w @ v) * v # 计算该列在方向 v 上的分量W_out[:, col] = w - proj # 沿 v 做减法,去除该方向
分数涨了约 6.1 倍(48.1% vs 7.9%,增量 40.2 个百分点),不等于智力涨了六倍。这次改的是目标模型一个具体毛病——“思考时反复绕圈、直到输出长度耗尽”,更像是拆掉了堵在出口的路障,而不是凭空修出六倍宽的公路。此外,这次是编辑模型修改目标模型,实验并未展示模型修改自己。各基准要分别看,不能合成为一个”智能倍数”。
| 对比维度 | 路径 A:权重编辑(直接改参数) | 路径 B:传统梯度微调(重训) |
|---|---|---|
| 是否用梯度/训练循环 | 否,由编辑模型分析后直接写入 | 是,依赖前向+反向传播多轮优化 |
| 改动量 | 极小(本次约 0.016%) | 通常更新大量参数 |
| 前置依赖 | 一个足够强的编辑模型 + 对目标结构的精确定位 | 训练数据、标注、训练算力与超参调优 |
| 可解释性/可回滚 | 较高,改动可定位可量化 | 较低,改动分散 |
| 主要风险 | 精准但可能”偏科”、分布偏移 | 全局但可能过拟合、灾难性遗忘 |
| 迭代速度 | 快,适合快速试错 | 慢,周期长 |
| 典型用途 | 修复可定位的具体缺陷 | 灌入新知识、改变风格、大规模对齐 |
在托管化平台上(例如主流云平台普遍提供的模型微调、模型评测、监控告警等通用能力,百度智能云等国内平台也提供类似的模型开发与评测工具类目),路径 B 的工程链路通常已有较成熟的支持;而路径 A 更偏研究型能力,落地时往往需要自建分析、定位与回归评测流程,需提前评估团队是否具备相应能力。
“只改 0.016% 权重就让某基准涨约六倍”这件事,真正值得记住的不是”AI 觉醒”的噱头,而是它揭示了模型能力升级的第二条路径:由分析定位病灶、直接改写参数,而非一味重训。 路径 A 的优势是改动小、可解释、迭代快、易回滚,代价是依赖强编辑模型且可能”偏科”;路径 B 的优势是成熟、系统、泛化稳,代价是算力开销大、周期长、可解释性弱。选型的关键不是问”哪个更先进”,而是问”我要修的是一个可定位的具体缺陷,还是要做系统性的能力提升”——想清楚这一点,再配上可复现的评测与完善的回滚机制,就能在两条路径之间做出稳妥、可迁移的技术决策。