小模型微调医疗问答的过拟合识别与缓解

在垂直领域落地对话式问答系统时，一个常见做法是：选取一个参数规模较小的预训练语言模型，在特定领域的数据集上进行监督微调，使其具备领域问答能力。医疗问答正是这类任务的典型代表——术语密集、逻辑链条长、表达高度结构化，同时又对事实准确性有极高要求。然而，当开发者将模型训练完成后，往往会遇到一个令人困惑的现象：模型在长文本生成时开始反复输出相同或高度相似的句子，陷入循环，甚至出现”建议去正规医院复诊””忌食辛辣”这类固定表述无限重复的情况。

这究竟是不是过拟合？如果是，为什么减少训练轮次反而使效果变差？如果不是，问题的根源又在哪里？本文将从定义出发，系统梳理小模型医疗问答微调中的过拟合现象，分析其成因、识别方法与缓解策略，帮助开发者在实际工程中做出更准确的判断和更有效的调整。

一、什么是微调中的过拟合

过拟合（Overfitting）是机器学习中的经典概念，指的是模型在训练数据上表现优异，但在未见过的数据上泛化能力显著下降的现象。用更技术化的语言描述：模型过多地学习了训练样本中的噪声、偶然模式和局部特征，而没有提炼出能够推广到新样本的通用规律。

在监督微调的语境下，过拟合有几种典型表现形式：

• 损失曲线分离：训练损失持续下降，而验证损失在某个轮次后开始回升，两者形成明显的”剪刀差”。
• 生成多样性坍缩：模型对同一类输入总是给出高度相似的输出，缺乏表达变化。
• 重复循环：在长文本生成中，模型陷入 token 序列的循环，反复输出相同片段。
• 模板化依赖：模型学会了训练数据中高频出现的固定句式，并将其作为”万能回答”套用到各种问题上。

需要强调的是，过拟合不是”有或无”的二元状态，而是一个程度问题。在小规模模型上，由于参数容量有限，过拟合的表现形式可能与大规模模型有所不同——它未必表现为对训练样本的精确记忆，而更可能表现为对高频模式的过度依赖和对低频模式的完全忽略。

二、为什么小模型在医疗问答中更容易过拟合

2.1 参数容量与领域复杂度的矛盾

参数规模较小的模型，其内部表示空间相对有限。医疗领域知识体系庞大，涵盖解剖学、病理学、药理学、临床指南等多个维度，且各维度之间存在复杂的交叉关系。当模型容量不足以容纳这些知识时，它倾向于寻找”捷径”——用高频出现的表面模式来近似复杂的医学逻辑。例如，模型可能学到”发烧→建议就医”这样的简单映射，而无法理解不同病因导致的发烧需要不同的处理方式。

2.2 医疗数据的分布特性

医疗问答数据集通常呈现明显的长尾分布：

• 头部：常见病症（如感冒、高血压、糖尿病）的描述和问答对数量充足，表达方式多样。
• 尾部：罕见病症、特殊人群用药、复杂合并症等情况样本稀少，甚至只有一两条记录。

在这种分布下，模型会自然地将学习重心放在头部数据上。当训练轮次过多时，模型对头部样本的模式记忆越来越深，而对尾部样本的泛化能力几乎没有提升，甚至因为表示空间被头部模式占据而下降。

2.3 医疗文本的模板化倾向

医疗文本具有高度结构化的特点，尤其是面向患者的科普类问答，往往遵循”症状描述→可能原因→建议措施→注意事项”的固定框架。在这个框架下，”建议及时就医””遵医嘱用药””注意休息”等表述频繁出现。模型在微调过程中会将这些高频模板作为强先验编码进参数中，导致在解码时过度偏好这些 token 序列。

三、如何判断问题是过拟合还是其他原因

当模型出现重复生成时，不应立即归因于过拟合。需要从多个维度进行诊断。

3.1 检查损失曲线

最直接的判断方法是观察训练集和验证集的损失变化：

• 如果验证损失在训练早期（如第 2-3 个轮次）就开始上升，而训练损失仍在下降，这是过拟合的明确信号。
• 如果两者同步下降但验证损失始终高于训练损失，且差距稳定，则更可能是模型容量不足导致的欠拟合，而非过拟合。
• 如果两者都下降但模型生成质量仍然很差，问题可能出在数据质量或解码策略上。

3.2 观察生成行为的多样性

对同一问题多次采样生成（使用温度采样而非贪婪解码），观察输出的多样性：

• 如果多次生成的回答几乎完全一致，说明模型的输出分布过于尖锐，可能是过拟合导致表示空间坍缩。
• 如果输出有一定多样性但都包含重复片段，问题更可能出在解码策略或注意力机制的长序列处理上。

3.3 区分过拟合与领域适应不足

一个容易被忽略的事实是：未微调的基础模型虽然缺乏医学知识，但其文本生成模式更加多样和流畅，因为它在预训练阶段见过海量通用文本。微调后，模型被”窄化”到医疗领域，如果训练数据本身多样性不足，模型的生成空间就会被压缩。这种情况下，问题的本质不是传统意义上的过拟合，而是领域适应过程中的多样性损失。

四、缓解策略与工程实践

针对小模型医疗问答微调中的过拟合和重复生成问题，可以从数据、训练和解码三个层面入手。

4.1 数据层面

数据清洗与去重

医疗问答数据中常见的模板化表达需要特别处理。可以使用 n-gram 重叠度或语义相似度对训练样本进行聚类，对同一类回答保留多种不同表述，删除高度重复的样本。例如：

# 示意性代码：基于 n-gram 重叠度的去重
def deduplicate(samples, threshold=0.8):
    kept = []
    for s in samples:
        if all(ngram_overlap(s, k) < threshold for k in kept):
            kept.append(s)
    return kept

课程学习策略

不要一次性将所有训练数据送入模型。可以按照难度分层：先用简单、高质量、表述规范的问答对训练，让模型建立基本的领域表示；再逐步加入复杂案例、长尾病症和多轮对话数据。这样可以让模型在表示空间尚未固化时先学到核心知识，再逐步扩展边界。

数据增强

对同一病症生成多种不同表述的回答，可以通过同义词替换、句式变换、段落重组等方式实现。目的是增加训练数据的表面多样性，降低模型对特定模板的依赖。

4.2 训练层面

早停与轮次选择

如果验证损失在第 2-3 个轮次后开始上升，应果断早停。减少轮次到 4 反而效果不好，可能说明模型在前几个轮次还没有充分学到领域知识，但继续训练又会加剧过拟合。这种情况下，更合适的做法不是简单增减轮次，而是调整学习率调度策略——例如使用预热加余弦退火，让模型在前期快速学习、后期精细调整。

正则化手段

• 权重衰减：适度增加 L2 正则化系数，限制参数幅度。
• Dropout：在注意力层和前馈层增加 Dropout 率，但注意小模型对 Dropout 更敏感，过高会导致欠拟合。
• 标签平滑：对目标 token 的 one-hot 标签进行平滑处理，降低模型对单一目标的过度自信。

注意力机制的长序列优化

小模型在处理长序列时，注意力分数容易集中在少数位置上，导致生成时反复关注相同的上下文片段。可以尝试：

• 使用滑动窗口注意力或局部注意力，限制每个位置的关注范围。
• 在训练时加入长序列样本，让模型学会在更长上下文中保持一致性。

4.3 解码层面

调整解码策略

• 温度参数：适当提高温度（如从 1.0 调到 1.2-1.5），增加输出多样性。
• Top-k 与 Top-p 采样：结合使用 Top-k 和核采样，避免模型总是选择最高概率的 token。
• 重复惩罚：对已生成的 token 施加惩罚，降低其再次被选中的概率。这是缓解循环生成最直接的手段之一。

# 示意性代码：带重复惩罚的解码
def generate_with_penalty(model, input_ids, penalty=1.2):
    logits = model(input_ids)
    for token in set(input_ids[0].tolist()):
        logits[0, -1, token] /= penalty
    return sample_from(logits)

限制生成长度

对于医疗问答场景，回答并非越长越好。可以根据问题类型设置最大生成长度，避免模型在长文本生成中暴露重复问题。

五、适用场景与边界

本文讨论的过拟合识别与缓解策略，主要适用于以下场景：

• 参数规模在数亿级别以下的预训练语言模型进行领域微调。
• 训练数据规模有限（数千到数万条），且存在明显的长尾分布。
• 任务对生成文本的准确性和多样性都有要求，如医疗问答、法律咨询、教育辅导等垂直领域。

需要注意的是，这些策略并非互斥，也非万能。在实际工程中，通常需要结合具体的数据特点、模型行为和业务需求进行组合调整。如果数据质量本身存在严重问题（如标注错误、答案与问题不匹配），任何训练技巧都无法弥补。此外，对于事实准确性要求极高的医疗场景，仅靠微调小模型往往不够，还需要引入检索增强、知识图谱约束或人工审核等机制。

六、总结

小模型在医疗问答微调中出现的重复生成问题，不能简单归结为过拟合。它可能是过拟合、领域适应多样性损失、解码策略不当、注意力长序列局限等多种因素共同作用的结果。准确诊断需要结合损失曲线、生成行为分析和数据分布检查。缓解策略应从数据清洗与增强、训练正则化与课程学习、解码策略调优三个层面协同推进。理解这些概念和方法的适用边界，才能在实际工程中做出合理的技术决策。