目录：

1. SFT概述
2. 数据准备
3. 选择SFT的参数

SFT概述

什么是SFT

SFT在大语言模型中的应用的作用

• 任务特定性能提升：预训练语言模型通过大规模的无监督训练学习了语言的统计模式和语义表示。然而，它在特定任务上的性能可能不如在大规模无监督数据上表现出的性能。通过在任务特定的有标签数据上进行微调，模型可以进一步学习任务相关的特征和模式，从而提高性能。
• 领域适应性：预训练语言模型可能在不同领域的数据上表现不一致。通过在特定领域的有标签数据上进行微调，可以使模型更好地适应该领域的特殊术语、结构和语义，提高在该领域任务上的效果。
• 数据稀缺性：某些任务可能受制于数据的稀缺性，很难获得大规模的标签数据。监督微调可以通过使用有限的标签数据来训练模型，从而在数据有限的情况下取得较好的性能。
• 防止过拟合：在监督微调过程中，通过使用有标签数据进行有监督训练，可以减少模型在特定任务上的过拟合风险。这是因为监督微调过程中的有标签数据可以提供更具体的任务信号，有助于约束模型的学习，避免过多地拟合预训练过程中的无监督信号。

数据准备

LLM大语言模型所需SFT数据

• 问题: 维珍澳大利亚何时开始运营？背景: 维珍澳大利亚，是维珍澳大利亚航空有限公司的交易名称，是一家总部设在澳大利亚的航空公司。它是使用维珍品牌的最大机队规模的航空公司。它于2000年8月31日作为维珍蓝航空公司开始运营，在一条航线上有两架飞机。在2001年9月安捷澳大利亚公司倒闭后，它突然发现自己成为澳大利亚国内市场的一家主要航空公司。此后，该航空公司发展到直接服务于澳大利亚的32个城市，从布里斯班到墨尔本和悉尼的枢纽。
• 回应: 维珍澳大利亚于2000年8月31日以维珍蓝的名义开始提供服务，在一条航线上使用两架飞机。

Prompt优化

• prompt优化主要在训练阶段，用于增强指令的多样性，让模型更好的理解指令
  • 预测阶段的prompt优化主要用于无法进行finetune的场景，例如chatgpt/yiyan.baidu.com等。
  • 对于特定下游任务，预测阶段建议与训练阶段保持一致或者接近的prompt，并且可以暂时忽略预测阶段的prompt优化。
• 适当构建few shot及COT(Chain of Thought)数据加入训练，可以有助于模型的指令理解以及多轮对话能力。

数据规模、数据多样性

数据质量

选择SFT的超参数

• EPOCH影响比 LR 大，可以根据数据规模适当调整EPOCH大小。 例如小数据量可以适当增大epoch，让模型充分收敛。
  • 例如：EPOCH：100条数据时, Epoch为15，1000条数据时, Epoch为10，10000条数据时, Epoch为2。
  • 过高的epoch可能会带来通用NLP能力的遗忘，这里需要您根据实际需求核定，若您只需要下游能力提升，则通用NLP能力的略微下降影响不大。若您非常在乎通用NLP能力，平台侧也提供过来种子数据来尽可能保证通用NLP能力不降低太多。
• 适当增加globalbatch_size：如增加accumulate step 32 64，当分布式节点增多时可以进一步增加batch_size，提高吞吐。
• 学习率(LR, learning Rate): 对于ptuing/lora等peft训练方式，同时可以适当增大LR。