从Token到Span：大模型跨度级不确定性估计

一、概念定义：什么是跨度级不确定性估计

跨度级不确定性估计（Span-Level Uncertainty Estimation）是指：在大语言模型生成的一段文本中，以“语义片段（Span）”为基本度量单位，为每一个片段单独计算一个不确定性或置信度分数的技术。这里的 Span 可以是一个名词短语、一个子句、一个完整的句子，也可以是一条可独立判断真伪的事实声明，其共同特征是：它承载了一个相对完整、可被单独评估可靠性的语义单元。

用形式化语言描述：假设模型生成的回答 Y 可以划分为 n 个片段，即 Y = {s₁, s₂, …, sₙ}，跨度级不确定性估计的目标是为每个片段 sᵢ 输出一个分数 u(sᵢ)，分数越高表示模型对该片段越“没有把握”。这一任务由近期发表于国际机器学习学术会议的研究正式提出，被视为大语言模型不确定性量化方向的一个新研究起点。

可以从三个视角理解这一概念：

• 技术视角：它是不确定性量化从“整段回答”或“单个 Token”向“中间语义粒度”的扩展，填补了两类极端粒度之间的空白；
• 业务视角：它把“这段回答可不可信”这个粗粒度问题，细化为“回答中哪些部分可信、哪些部分需要复核或二次验证”的可操作问题；
• 使用视角：它输出的不再是单一数字，而是一组与文本位置绑定的结构化信号，可被下游程序直接解析和消费。

二、背景与价值：为什么需要新的度量粒度

1. 产品落地中的真实痛点

在将大语言模型真正应用到产品的过程中，工程团队会反复遇到一个看似简单却非常关键的问题：模型生成的内容，究竟有多可信？下游系统往往不仅希望获得生成结果本身，还希望获得与之对应的确定性信息，以便优化后续决策。例如在一个基于大模型的信息处理系统中，生成内容会被用于后续分类、推理、工具调用，甚至直接影响用户体验。此时下游系统必须回答：哪些输出可以直接采纳？哪些需要额外验证？是否有必要调用更强大的模型复核？当前信息是否足以支撑可靠决策？这些问题都离不开不确定性估计。

2. 单一分数无法描述复合内容

在大型互联网企业的实际产品研发实践中，工程团队逐渐意识到一个更深层的问题：当一段生成文本同时包含多个事实或语义单元时，用一个分数衡量整段内容的可靠性是失真的。

考虑一个典型情形：模型生成了十条事实声明，其中九条非常可靠，只有一条存在明显不确定性。如果只看整段回答的平均置信度，这条“高风险声明”会被其他九条稀释甚至掩盖；下游系统若据此判断“整体可信、直接采纳”，风险就会集中落在那一条不可靠的内容上，且无法被定位。真正有价值的信号形态是：模型对哪些内容有把握、对哪些内容不确定——即按语义单元逐一给出可靠性度量。这正是跨度级不确定性估计被提出的直接动机。

3. 从“评价指标”升级为“决策信号”

传统上，不确定性多被当作离线评测模型表现的指标。而跨度级估计的核心主张是：不确定性还应该成为能被下游系统理解和利用的在线决策信号。这一点在多智能体（Multi-Agent）系统中尤为重要：当多个智能体相互协作时，一个智能体的输出往往成为另一个智能体的输入。如果智能体之间不仅能传递自然语言信息，还能传递每条具体声明的不确定性，接收方就有机会根据这些信号决定是否需要额外验证、进一步推理或调整执行策略，从而避免错误在协作链路上逐级放大。

三、核心组成：三个关键环节

一套完整的跨度级不确定性估计方案，通常包含三个核心模块：

1. Span 划分（切分模块）

• 目标：把连续的生成文本分解为语义上相对独立的单元；
• 常见粒度：句子级、子句级、名词短语级、声明级（即可独立判断真伪的最小事实陈述）；
• 实现方式：可基于通用规则（标点、句法结构）切分，也可由模型自身完成声明抽取。切分粒度直接决定了信号的定位精度与噪声水平。

2. 不确定性度量模块
业界常见的三类思路可以在此粒度上复用或改造：

• 概率聚合：将片段内各 Token 的生成概率或对数概率聚合为片段级分数（如几何平均、最小值等），计算开销低；
• 一致性采样：对同一问题多次采样，比较不同回答中对应语义片段的一致程度，一致性越低则不确定性越高，其思想与语义熵方法相通；
• 模型自评：让模型对片段的可靠性直接给出判断，再与其他信号融合校准。

3. 结构化输出与消费模块
将片段文本、原文位置、不确定性分数组装为结构化结果，供下游规则引擎、路由模块、人工审核流程或多智能体消息传递直接使用。

四、工作原理：典型处理流水线

整体流程可概括为“生成 → 切分 → 逐片段度量 → 输出路由”。下面是一段示意性伪代码，用于说明基本逻辑（省略工程细节）：

def span_level_uncertainty(prompt, llm, segmenter, scorer, threshold):
    answer = llm.generate(prompt)              # 1. 生成完整回答
    spans = segmenter.split(answer)            # 2. 切分为语义片段
    signals = []
    for span in spans:
        u = scorer.uncertainty(prompt, answer, span)   # 3. 逐片段度量
        signals.append({
            "text": span.text,                 # 片段内容
            "offset": span.offset,             # 在原文中的位置
            "uncertainty": u,                  # 分数，越高越不可靠
            "action": route(u, threshold)      # 采纳 / 复核 / 拒绝
        })
    return signals

其中路由函数是下游决策的示意：分数低于阈值可直接采纳；高于阈值则触发定向检索、调用更强模型复核或转人工处理。需要强调的是：阈值与路由策略由业务方定义，跨度级估计本身只负责回答“哪一段不可靠”，是定位能力而非决策本身。

五、典型应用场景

1. 内容可信度分级与审核路由：对批量生成内容逐片段打分，仅高不确定性片段进入人工队列，显著降低审核成本；
2. 检索增强问答的事实校验：对低置信片段触发定向检索或引用核对，而非对整段回答全量验证；
3. 多智能体协作：智能体间传递带不确定性标注的中间结论，接收方据此调整推理深度与验证策略；
4. 模型路由与成本控制：只有当关键片段不可靠时才升级到更强模型，避免全局升级造成的算力浪费；
5. 高合规要求领域：在医疗、法律、金融等场景中精确定位“必须人工确认”的片段并留痕，便于审计追溯；
6. 训练数据清洗：利用片段级信号过滤合成数据中的不可靠样本，提升数据集质量。

六、与相关概念的区别与联系

概念	度量粒度	特点与局限
整段级不确定性	整个回答	单一分数，无法定位风险位置，复合回答下严重失真
Token 级不确定性	单个 Token	信号细但噪声大，与人类可判断的“事实单元”不对应
跨度级不确定性	语义片段	与可独立判断的声明对齐，兼顾定位精度与语义可解释性

另外两个容易混淆的概念：

• 与幻觉检测的区别：幻觉检测通常试图直接判断“内容是否错误”，往往依赖外部知识或事实核查；不确定性估计回答的是“模型自己有多不确定”，无需外部证据即可给出信号。二者互补——高不确定性片段可作为事实核查的优先目标。
• 与校准的关系：校准关注模型置信度与实际正确率的一致性。跨度级分数同样需要校准评估（例如按片段统计校准误差），否则分数可能系统性偏高或偏低，影响下游阈值设定。

七、使用注意事项

1. 切分质量决定度量上限：声明级切分过粗会把多个事实混在一起、过细则破坏语义完整性，切分误差会直接传导到最终分数；
2. 重视分数校准：不同模型、不同领域的分数分布差异较大，上线前应进行校准评估，避免直接套用统一阈值；
3. 权衡计算开销与延迟：基于多次采样的度量方式成本成倍增加，线上场景需评估延迟预算，必要时选用更轻量的概率聚合方案；
4. 不确定性不等于正确性：模型可能“自信地犯错”，低不确定性并不代表事实正确，关键场景应与外部事实核查手段配合使用；
5. 保留人工介入通道：在自动化决策链路中，应保留可解释的信号留痕与人工复核机制，避免将片段分数作为唯一放行依据。

八、总结

跨度级不确定性估计回答的是大语言模型不确定性研究中一个基础却长期被忽视的问题：不确定性究竟应该在哪个颗粒度上衡量。它的核心价值体现在三点：把单一的整体分数细化为可定位、可解释的结构化信号；让不确定性从离线评价指标转变为可被下游系统消费的决策信号；为多智能体系统提供了可传递的可靠性标注能力。它的适用边界同样清晰：它不直接判断内容对错，切分与校准质量直接影响效果，且会引入额外的计算开销。对于需要在“采纳、验证、拒绝”之间做精细化决策的大模型应用而言，跨度级不确定性估计是一项值得纳入技术选型清单的基础能力，也为未来更细颗粒度、更具可操作性的不确定性研究提供了新的起点。