简介:长文本能读到,不等于模型学会了新规则。本文区分两类能力的定义、核心差异与评测指标,给出选型检查表和决策流程,帮助团队判断应优先投入哪类能力,并避免常见迁移风险。
长上下文不等于学会新规则。模型能在输入中找到某段文字,并不代表它能把输入里的新流程应用到没见过的问题上。选型前要先分清两类能力,再决定投入方向。
长文本理解(Long-context Understanding)指模型在很长的输入中检索、定位、提取和概括信息的能力。核心问题是:答案在不在输入里,模型能不能找到。典型任务包括从长报告中摘出财务数字,从会议纪要中归纳行动项,从长合同中找出违约金条款。
成功标准通常是召回率和准确率。只要答案明确写在输入中,且问题与原文措辞接近,模型表现一般较稳定。但当答案分散在多个段落,需要先找到条件、再组合判断,错误率会上升。信息的位置也会影响结果,埋在输入中部的内容往往比首尾更容易被遗漏。这一点需要在评测中单独验证,不能默认成立。
风险提示:长上下文可检索,不等于可学习新规则。需要单独评测上下文学习能力。
上下文学习(In-context Learning)指模型在输入中获得新的规则、步骤、示例或经验,并把它们应用到未见过的问题上。核心问题是:模型能不能从输入中学会一个新东西,并在新情况下正确使用。
例如,团队在提示词里写明一套内部错误码的含义和处理流程,然后提出一个没有出现过的错误码场景。如果模型能按照规则推导出正确处理方式,说明它完成了上下文学习。如果它只是复述了规则原文,或者仍然套用训练数据里的旧逻辑,就没有真正学会。
上下文学习的前提是:规则表达清楚,示例与目标任务一致,新规则与模型已有知识不冲突。任一条件不满足,效果都会下降。
下表从七个维度比较两类能力。
| 维度 | 长文本理解 | 上下文学习 |
|---|---|---|
| 输入信息形态 | 大量事实性材料,如报告、合同、文档库 | 规则、步骤、示例、经验等可执行的说明 |
| 核心目标 | 定位并整合已存在的信息 | 从输入中习得规则,并迁移到新问题 |
| 典型失败模式 | 漏检、位置偏差、多段信息拼接错误 | 复述规则但不会应用,忽略输入规则,沿用训练中的旧知识 |
| 评测任务 | 大海捞针式检索、证据定位、多跳问答 | 新规则应用、未见示例泛化、带干扰项的规则遵循 |
| 主要指标 | 召回率、证据定位准确率、多跳答案正确率 | 规则遵循率、泛化准确率、干扰下的稳定性 |
| 适用场景 | 文档问答、摘要、信息抽取、合规检索 | 内部流程执行、新接口使用、定制化分类与转换 |
| 常见改进手段 | 检索增强、分段索引、结构化摘录 | 规则梳理、示例设计,必要时考虑微调 |
这张表的重点在于失败模式。长文本理解的失败多表现为“找不到”或“漏掉”。上下文学习的失败多表现为“看到了却没用对”。两者的修复方向不同,混为一谈会投入错误的资源。
评测要把两类能力拆开测。如果只用一份长文档做问答,得分高也无法说明模型学会了新规则。
建议覆盖以下指标:
数据构造时,应使用团队真实文档的改写版本,并保留一部分答案不存在的问题。判分时,事实题可以用标准答案匹配。摘要题需要人工评分,或使用经过校准的评分规则。
建议覆盖以下指标:
数据构造时,测试案例必须与示例、规则保持分离。如果测试题与示例高度相似,高分可能只是模式匹配。判分口径应写成明确的规则,例如“输出的处理步骤与规则第三条一致即为通过”,避免评审凭感觉打分。
选型前,按下面的检查表逐项回答。某一题的回答为“是”时,对应列出的方向就是应优先投入的方向。
| 问题 | 回答“是”时的含义 | 优先投入方向 |
|---|---|---|
| 答案是否已明确写在输入材料中? | 主要是检索和理解问题 | 长文本理解、检索增强 |
| 任务是否需要把多处信息组合后判断? | 需要跨段推理 | 多跳评测,结构化摘录 |
| 任务是否需要应用输入里的新规则或新流程? | 需要上下文学习 | 规则设计、示例设计、相应评测 |
| 新规则是否与模型训练中的常识相反? | 模型容易沿用旧知识 | 明确覆盖声明,增加冲突测试 |
| 所需知识是否经常变化,且不宜全部放入提示词? | 应考虑外部检索或知识库更新 | 检索增强,知识库维护 |
| 任务是否需要稳定的参数级改变,如固定格式或固定风格? | 提示词难以稳定控制 | 评估微调或专门训练 |
决策流程可以简化为以下四步:
验收线由团队根据业务风险设定。合规判断或金额计算等高风险场景,应设置更严格的阈值,并保留人工复核。
长上下文能力强,不代表上下文学习能力强。这是读者最容易出错的地方。模型能完整复述一份接口文档,却仍可能调用旧版函数。这说明它读到了内容,但未必按新规则行动。
提示词写得越长,效果也不一定越好。输入越长,有关信息越容易被稀释,关键规则可能被忽略。
把方案从实验环境迁到生产环境时,常见风险有以下几类:
长文本理解解决“信息在哪里、能不能找到”的问题。上下文学习解决“能不能用输入中的新规则做事”的问题。选型时先判断任务属于哪一类,再用对应的指标评测。只用一种测试判断两类能力,容易得出错误结论。