11
快速上手SFT（一）：识别应用场景
大模型开发/技术交流
- SFT
2023.10.179470看过
为用户提供了SFT的支持文档，方便大家快速应用SFT
识别应用场景
本文将SFT使用场景拆解为两个维度，从通用、垂类两个维度，方便使用者明确聚焦SFT可以解决的问题与场景。
通用场景
|
应用场景
|
细分场景
|
说明
|
数据量最少要求/条
|
|
问答
|
阅读理解
|
文档问答、企业常识开放式问答、阅读理解
|
1K
|
|
|
close - book问答
|
包含上下文搜索结果的问答、摘要、创作
|
1K
|
|
创作
|
创作与续写
|
文章评论生成、营销文案创作
问题生成、markdown生成
|
1K
|
|
|
改写与纠错
|
扩写、指代消解、信息补全、FAQ相似问题改写、word文档中html排版改写等
|
1K
|
|
对话引擎
|
NL2指令
|
意图匹配、指定场景指令遵循
|
1K
|
|
|
NL2SQL
|
自然语言转化为SQL
|
1K
|
|
|
角色对话
|
角色扮演及对话
|
1K
|
|
基础语言处理
|
信息抽取
|
核心短语抽取、剧本角色分类
|
1K
|
|
|
标签抽取
|
动作/情感/文本风格标签抽取、标签聚类、意图分类等
|
1K
|
|
|
摘要
|
写作摘要、段落生成标题、抽取式摘要、生成式摘要等
|
1K
|
|
|
Query提炼
|
根据搜索历史推荐搜索、根据文档生成检索Query
|
1K
|
|
形式化语言（代码）
|
代码生成与理解
|
代码补全
代码理解
代码生成&改写
|
1K
|
垂类场景
部分场景、可供参考
|
应用场景
|
细分场景
|
说明
|
|
教育
|
作业批改
|
阅读理解、信息抽取、摘要
|
|
|
试题解析
|
阅读理解、信息抽取
|
|
能源
|
客服助手
|
角色对话、阅读理解、摘要、标签抽取、信息抽取
|
|
金融
|
客服助手
|
角色对话、阅读理解、摘要、标签抽取、信息抽取
|
|
公共科技
|
客服助手
|
角色对话、阅读理解、摘要、标签抽取、信息抽取
|
|
政府
|
政务服务助手
|
角色对话、阅读理解、摘要、标签抽取、信息抽取
|
|
泛科技
|
客服助手
|
角色对话、阅读理解、摘要、标签抽取、信息抽取
|
在以上的通用与垂直场景中，SFT能做到:
-
任务特定性能提升: 预训练语言型通过大规模的无监督训练学习了语言的统计模式和语义表示，然而，它在特定任务上的性影河能不如在大规模无监督数摆上表现出的性能。通过在任务特定的有标签数据上进行SFT，模型可以进一步学习任务相关的特征和模式，从而提高性能。
-
提高领域适应性: 预训练练语言模型可能在不同领域的数据上表现不一致。通过在特定领域的有标签上进行SFT，可以使模型更好地适应球的特珠术语、结构和义，提高在该领域任务上的效果。
-
解决数据稀缺性:某些任务可能受制于数的稀性，很难获得大规的标签数。SFT可以通过使用有限的标签数来训练模型，从而在数据有限的情兄下取得较好的性能。
-
防止过拟合:在SFT过程中，通过使用有标签数居进行有监督训练，可以减少模型在特定任务上的过拟合风险，这是因为SFT过程中的有标签数摆可以提供更具体的任务信号，有助于约束模型的学习，避免过多地拟合预训练过程中的无监督信号。
评论
