微调小参数模型出现重复生成：过拟合还是解码策略问题？

在垂直领域微调小参数大语言模型时，一个高频出现的棘手问题是：模型在长文本生成中反复输出相同片段，甚至陷入无意义的循环。许多人第一反应将其归咎于过拟合，但真实情况往往更为复杂。本文将以医疗问答任务的微调为例，系统解析这一现象背后的多重成因，并给出可落地的排查与优化策略。

一、概念定义：什么是微调过程中的“重复生成”现象

“重复生成”指的是模型在生成长序列时，在某个语义节点之后反复输出相同或高度相似的词、短语或完整句子，导致输出内容失去信息增量与逻辑推进。这一现象并非某一特定模型的专属问题，而是所有自回归语言模型在解码阶段都可能遭遇的典型失败模式，尤其在小参数模型微调至垂直领域时更为突出。

从技术本质来看，重复生成意味着模型在每一步解码时，当前上下文的注意力分布几乎不再变化，模型陷入了一个“高概率自我强化”的局部最优区域。此时，模型不再依据医学逻辑推进回答，而是按训练数据中的高频模式机械复述。

二、背景与价值：为什么小参数模型微调容易触发该问题

理解这一现象，需要先明确小参数模型的特点。小参数模型（如参数量在亿级以下的轻量模型）在预训练阶段学习到的语言先验有限，其注意力头数量、前馈网络维度以及上下文建模能力均弱于大参数模型。当将其微调至医疗等专业领域时，模型需要同时完成两项任务：

1. 记忆领域知识：学习症状、诊断、用药等实体关系与专业表述；
2. 维持生成多样性：避免在表达同类语义时陷入固定句式的陷阱。

问题在于，医疗数据的天然结构会加剧这两项任务之间的冲突。医疗问答文本高度模板化，例如“建议患者注意休息，避免辛辣刺激食物”“建议前往正规医院复查”等固定表述在数据集中反复出现。小参数模型的容量有限，无法像大模型那样在大量数据中建立灵活的知识映射，因此更容易将“高频表述”直接固化为“安全的生成路径”，从而压制了输出的多样性。

三、核心组成：影响生成重复的三个关键变量

从工程视角来看，重复生成的成因可以拆解为三个可控变量：

1. 数据分布与模板密度

训练集中模板化表述的占比直接决定模型的“重复倾向”。若原始数据未经清洗，相同语义的表达方式过于单一，模型学习到的概率分布便会过度集中于少量句式结构。在医疗场景下，一个常见问题是：不同科室、不同疾病的数据往往由同一套宣传材料或教科书摘录整理而来，导致句式撞车。

2. 训练轮次与优化动态

训练轮次（epoch）并非越多越好。小参数模型在数据量有限且分布不均时，学习速度很快，通常在第二个或第三个epoch后即可拟合大部分训练集。此时，继续增加训练轮次只会让模型进一步强化对高频模式的记忆，而无法提升对低频、复杂病例的推理能力。

3. 解码策略与采样参数

推理阶段的解码参数同样直接影响重复生成。当使用贪心搜索（greedy search）或设置过低的温度系数（temperature）时，模型每一步都会选择概率最高的token，一旦陷入局部高概率区域，便无法跳出循环。而束搜索（beam search）的长度惩罚（length penalty）设置不当，也会导致模型倾向于生成短而重复的序列。

四、工作原理：从注意力机制到概率分布崩溃

重复生成背后存在清晰的机制链条。以医疗问答为例，当模型需要生成长文本时，其内部工作流程如下：

1. 模型读取用户问题与已生成的前缀文本；
2. 注意力模块计算当前token与之前所有token的相关性分数；
3. 前馈网络基于这些分数输出下一个token的概率分布；
4. 解码器根据策略（贪心或采样）从分布中挑选token。

在正常状态下，随着生成内容推进，新出现的医学实体或逻辑逐渐改变注意力权重，使后续token选择保持多样性。但微调过度后，模型的注意力权重被训练数据中的高频组合所“钉死”。例如，当模型生成“建议”一词时，后续概率最高的始终是“患者”和“定期”，而这两个词又进一步触发下一轮的高概率反馈，形成正反馈闭环。最终，模型在概率空间中被困在一个狭窄的盆地中，无法返回更广泛的语义附近。

五、典型场景：哪些微调场景最容易遭遇重复生成

并非所有微调任务都会出现明显重复问题，以下三类场景风险最高：

• 数据量小且领域专一：例如只针对某几个科室的问答数据进行微调，数据的句式多样性天然不足；
• 文本结构化程度高：法律文书、医疗诊断、金融风控等需要固定套路的输出场景，模型更容易形成“安全模板”；
• 长文本生成要求高：需要输出多段落、多要点回答时，模型每进入一个新的语义段落，都需要“重启”注意力分配，而小参数模型在这方面的重启能力较弱。

六、相关概念区别：过拟合与领域适配不足

为了精准定位问题，需要严格区分两个极易混淆的状态：

• 过拟合（Overfitting）：训练集损失持续下降，验证集损失在第N个epoch后显著上升。此时模型对训练集的具体表达方式记忆过深，丧失泛化能力；
• 领域适配不足（Domain Underadaptation）：模型尚未把领域知识内化为自身的生成逻辑，只能依靠碎片化记忆拼凑答案。此时训练集和验证集损失都可能处于高位，且模型输出的内容虽然不重复，但逻辑混乱、医学术语错误。

许多开发者遇到的重复生成问题，实际上介于二者之间。模型已经学会从训练集中提取“安全句式”，但并未真正理解医学逻辑，因此在面对新问题时，只能套用高频句式来“蒙混过关”，最终表现为长文本中的重复循环。检查方法也很直接：对比训练集和验证集的损失曲线，如果验证损失在早期即开始上升，则过拟合占主导；如果两者均未收敛，则领域适配不足的可能性更大。

七、使用注意事项：排查与优化路线图

针对实际微调项目，建议遵循以下排查顺序：

1. 先检查解码参数

在调整模型之前，先尝试修改推理阶段的生成参数。具体策略包括：

• 增大温度系数（如从0.3提升至0.7），增加采样随机性；
• 引入重复惩罚项（repetition penalty），对已出现的token施加额外惩罚；
• 改用top-p采样（核采样）而非贪心搜索，保留更多的候选token集合。

2. 再审视训练数据

训练数据是模型行为的根本决定因素。建议按以下步骤清洗与增强：

• 去除相近语义的重复样本，保留表达差异最大的那些；
• 对于同一病症，人工或利用规则生成多种不同的回答表述，例如修改句式结构、调整建议顺序、替换同义术语；
• 实施课程学习策略，优先使用结构清晰、逻辑完整的问答对进行前几个epoch的训练，随后再引入复杂的长尾案例。

3. 最后考虑训练策略调整

如果数据清洗后问题仍然存在，可以尝试降低训练轮次至2-3轮，同时引入早停机制（early stopping），以验证集损失为监控指标。此外，可以对高频模板句进行降权采样，在数据加载时降低其输入频率，从而强制模型探索更多样的生成路径。

八、总结

小参数模型在医疗问答微调后出现的重复生成问题，本质上是模型容量、数据分布与解码策略三方博弈的结果。过拟合是可能的诱因之一，但远非唯一原因。真正可靠的做法，是通过对比训练/验证损失曲线来确认模型状态，再依次从解码参数、数据清洗和训练轮次三个层面进行干预。理解这一问题的本质，不仅能解决重复生成的表象，更有助于在垂直领域微调中建立正确的评估与优化习惯。核心判断标准始终只有一个：模型能否在维持专业事实准确的前提下，以自然且多样的语言完成长文本表达。