简介:本文以公开媒体报道的一则动物实验为切入点:某通用大模型在连续三次活体小鼠脑立体定位操作中,借助外科医生的即时纠正,把关键解剖标志的定位误差从0.6毫米降到0.3毫米、识别耗时从169秒降到86秒,且未重新训练、未改动任何参数。这一现象引出一个对技术团队更具普遍意义的问题——想让模型"越用越准",到底该走上下文学习,还是走参数微调?本文从生效机制、数据形态、效果边界、延迟与成本、可解释性与合规、版本运维等维度系统对比这两条路径,给出条件化选型建议与迁移注意事项。
公开报道描述的场景本身很具体:研究者在小鼠头骨表面识别两个立体定位参考标志——前囟点(Bregma)与后囟点(Lambda),用它们的相对位置换算坐标,再把注射针引导到目标脑区。同一支团队此前还让三款不同厂商的通用大模型,在完全相同的输入条件下(19种候选基因治疗方案)为癫痫模型动物做方案选择,并交由电动脑立体定位设备执行注射。
这类实验里最有工程价值的信息,不是”误差降了50%”这个数字,而是它达成的路径:模型没有换权重、没有加训练、没有更新版本,只是把前一轮的图像、测量数据和医生修正记录带进下一轮的判断里。团队把这种做法称为上下文学习(context learning / in-context learning)的实际应用。
问题在于,”把经验放进上下文”和”把经验压进权重”在很多讨论中被混为一谈,并被笼统地称作”模型变强了”。但从工程角度看,这是两条机制完全不同的改进路径:一条改的是输入,一条改的是参数。它们在数据要求、生效速度、成本结构、失效方式、审计能力和适用边界上几乎没有重叠。忽略这个区别,常见后果是两类:用微调去解决本该用上下文解决的问题,导致标注成本和发布周期失控;或者反过来,把本该固化的能力一直塞在提示里,导致每次都重新”教一遍”。
路径A:上下文学习(不改权重)。 把任务说明、领域知识、历史样本与专家修正记录组织进模型的输入上下文,模型在推理时”看得到”这些经验,并据此调整输出。权重是冻结的,变的是每次请求携带的信息。报道中的实验正属于此类:三轮操作之间,模型携带的是前两轮的图像、测量值与医生纠正点。
路径B:参数微调(改权重)。 把专家修正沉淀为带标签的训练数据,通过有监督微调或继续训练把能力写入模型权重,产出一个新版本,再走评估与发布流程。变的是模型本身,推理时的输入可以保持简洁。
需要补充的第三种常见做法是检索增强(把经验外置到可检索的知识库,按需召回),它介于两者之间:不改权重,但不依赖有限的上下文窗口,而是依赖外部存储与召回质量。下文在必要处会把它作为路径A的工程化延伸提及,但对比主线仍是A与B。
路径A的生效是即时且可逆的:补充上下文,下一轮请求立刻受影响;删掉上下文,行为回到原状。这使它天然适合探索性迭代——当天发现问题,当天验证假设。
路径B的生效是延迟且需固化的:数据收集、清洗、训练、评估、灰度、发布,是一个以天或周为单位的流水线。它换来了推理时的简洁与稳定,但代价是任何一次调整都要走完整流程。
路径A对数据的要求是”可阅读的记录”:图像、测量数值、一句话的纠正说明。它不需要统一格式的大规模标注集,几十到上百条样本就足以形成可观察的趋势——报道中的实验只用了三轮。
路径B要求数据是结构化、可复现、成规模的训练集,需要真值定义、标注规范、一致性校验、按个体划分的切分策略,以及版本化的数据谱系。数据工程的投入通常远大于训练本身。
这是最容易被误读的一点。上下文学习带来的提升,严格来说是在当前上下文所覆盖的分布内的提升。三轮连续操作意味着相似的术野、相似的成像条件、同一套坐标约定,模型很可能是在”对齐这一次任务的具体条件”,而不是在获得可迁移的解剖学理解。要验证泛化,必须引入留出个体、留出批次、留出设备的测试,并观察提升是否保持。
参数微调同样有过拟合风险,但它的评估传统更成熟:按个体切分、交叉验证、留出集不回流,是可直接套用的既有实践。因此在对”泛化能力”要求高的场景里,微调路线更容易做出可辩护的结论。
路径A有一个容易被低估的问题:上下文会单调增长。图像、测量数据、修正记录逐轮追加, token 数、推理成本和延迟同步上升,最终撞上上下文窗口上限或成本约束。工程上通常引入摘要压缩、代表性样本筛选、检索式召回(只带最相关的若干条经验),把”无限追加”改造成”有界召回”。这一步做不好,路径A的成本会随使用时长线性恶化。
路径B的推理成本与输入长度基本解耦,单位请求的延迟和成本更可预测,更容易做容量规划。
路径A在可追溯性上有天然优势:每一轮的判断都能回溯到当时上下文里有什么。这对复盘极有价值——“这次为什么偏了”,往往能直接从上下文记录里找到答案。
路径B的可追溯性体现在另一层:训练数据谱系、超参配置、模型版本号、评估报告构成完整证据链,适合应对”这个版本依据什么发布”这类合规质询。但单个推理结果为什么这样输出,内部归因依然困难。
理想做法是把两者结合:权重侧保留版本化谱系,输入侧保留请求级上下文快照。
路径A没有”模型版本”这个概念,它的配置载体是提示模板与知识库内容,运维对象是内容治理:谁来审、多久更新、如何回滚一份错误的经验。回滚很便宜,但错误经验会被每一轮请求放大,污染速度快。
路径B的运维对象是模型资产:版本号、灰度策略、回滚点、影子流量对比、效果监控。回滚成本高,但变更节奏可控、影响面清晰。
医疗与生命科学场景有几个不能绕开的问题:数据能否出域、影像与手术记录如何脱敏、审计日志保留多久、模型输出是否被视为辅助决策而非决策主体。上下文学习会把更多原始数据带进推理请求,数据流向与留存策略需要单独评估;微调则涉及训练数据授权、模型资产归属与派生模型的合规声明。两条路都需要身份认证、最小权限、传输与静态加密、操作审计这些通用基线能力,不能因为”只是提示词”就放松管控。
| 维度 | 路径A:上下文学习(不改权重) | 路径B:参数微调(改权重) |
|---|---|---|
| 生效机制 | 修改输入上下文 | 修改模型权重 |
| 生效速度 | 即时,下一轮请求生效 | 延迟,需走训练与发布流程 |
| 最小数据量 | 少量记录即可观察趋势 | 需要成规模、结构化的标注集 |
| 标注成本 | 低(记录式) | 高(规范、真值、一致性) |
| 泛化能力 | 偏任务内/同分布适应,需额外验证 | 有条件迁移,评估体系更成熟 |
| 推理延迟与成本 | 随上下文增长而上升 | 与输入长度解耦,较平稳 |
| 效果可解释性 | 高(可回溯当时上下文) | 低(单点归因困难),谱系完整 |
| 变更与回滚 | 便宜、快速,但错误经验扩散快 | 昂贵、慢,但影响面可控 |
| 版本管理对象 | 提示模板、知识库内容 | 模型版本、灰度与回滚策略 |
| 主要风险 | 上下文膨胀、经验污染、过拟合单次任务 | 数据泄漏、过拟合、发布周期长 |
| 适用阶段 | 快速探索、冷启动、流程尚未定型 | 能力已验证、需要固化与规模化 |
# 路径A:上下文驱动的迭代,权重保持不变context = [任务说明, 解剖标志定义, 坐标约定, 少数示例]for i in 1..N:pred, conf = model.infer(image_i, context)correction = expert.review(image_i, pred) # 专家纠正是唯一监督信号context = append(context, (image_i, pred, correction, note))context = compress_or_retrieve(context) # 摘要/召回,防止上下文无限增长
# 路径B:参数微调驱动的迭代dataset = collect(image, landmark_ground_truth, procedure_log)dataset = split_by_subject(dataset) # 按个体/批次切分,严禁泄漏for r in 1..M:candidate = train(base_model, train_set, hyperparams)metrics = evaluate(candidate, holdout_subjects) # P50/P95 误差、耗时、纠正次数if metrics.p95_error <= baseline.p95_error and safety_checks_pass():promote(candidate) # 版本化发布,保留回滚点
两段代码的关键差异不在 API,而在切分策略。路径A如果在同一批数据上反复”用经验刷分”,很容易得到虚高的提升;必须留出未参与过任何一轮上下文构建的个体或批次。
这则动物实验的启示不在于误差减半本身,而在于它明确展示了一条低成本的改进路径:把专家纠正当作可累积的上下文,让模型在同分布任务里逐步收敛。上下文学习与参数微调的真正区别,是改输入还是改权重这一机制差异,并由此派生出生效速度、标注成本、泛化边界、延迟成本、可解释性与运维方式的全套差异。
因此更实用的决策思路是分阶段而非二选一:探索期用上下文学习快速验证,把专家反馈当作廉价的实验变量;能力被反复验证、且成本与延迟成为主要约束时,再把这批经验固化进权重,同时用检索增强承接高频变化的知识。无论选择哪条路径,评测必须按个体留出、指标必须成组、权限与审计必须前置——在安全敏感场景中,流程与硬件层面的防护设计,比模型能力本身的提升更值得优先投入。