【SFT实践分享】如何进行新闻摘要

大模型开发/技术交流

LLM
文心大模型
SFT

2023.09.053927看过

SFT是常见的大模型微调技术之一，通常使用预训练的大语言模型作为一个起点，然后使用标记好的数据对模型进行微调。在对标记的数据集上可以获得更好的性能。

场景：

文本摘要的任务场景涉及从给定的原始文本中生成一个简洁但信息完整的摘要，以传达文本的核心内容。这在各种应用中都有实际用途，包括新闻摘要、自动化报告生成、搜索引擎结果展示等。

示例数据：

  
  
  
  
  
  
   
   
   
   
   
   
    [
   
   
   
   
   
   
   
   
   
   
   
   
      {
   
   
   
   
   
   
   
   
   
   
   
   
        "prompt": "请根据下面的新闻生成摘要, 内容如下:3月23日，海南中远博鳌有限公司指定罗牛山集团有限公司为海南中远博鳌有限公司旗下酒店的长期食材供应商之一。罗牛山股份有限公司总裁钟金雄在开园仪式上致辞时说，这对罗牛山公司来讲是值得铭记的时刻。\n生成摘要如下:",
   
   
   
   
   
   
   
   
   
   
   
   
        "response": [["钟金雄：参与博鳌亚洲论坛年会服务对罗牛山意义深远"]]
   
   
   
   
   
   
   
   
   
   
   
   
      }
   
   
   
   
   
   
   
   
   
   
   
   
    ]

在这个示例中，"prompt" 字段提供了一个新闻文本，要求生成一个摘要，摘要的部分内容已经在 "response" 字段中给出。任务的要求是根据提供的新闻内容，生成一个类似于 "response" 字段中的摘要，以表达文本的主要信息。

在处理这个任务中，模型需要理解原始文本的关键信息，包括公司指定供应商、罗牛山集团总裁发言等，然后根据这些信息生成一个简洁的摘要，以表达新闻的核心内容。

SFT方案：

主要操作在标注数据，并形成标准化规范。

具体示例如下：

  
  
  
  
  
  
   
   
   
   
   
   
    [{"prompt": "请根据下面的新闻生成摘要, 内容如下:3月23日，海南中远博鳌有限公司指定罗牛山集团有限公司为海南中远博鳌有限公司旗下酒店的长期食材供应商之一。罗牛山股份有限公司总裁钟金雄在开园仪式上致辞时说，这对罗牛山公司来讲是值得铭记的时刻。\n生成摘要如下:", "response": [["钟金雄：参与博鳌亚洲论坛年会服务对罗牛山意义深远"]]}]
   
   
   
   
   
   
   
   
   
   
   
   
    [{"prompt": "请根据下面的新闻生成摘要, 内容如下:“天价”销售的极草冬虫夏草纯粉含片无“食”、“药”、“健”等批号，12月9日，极草官方客服解释称，纯粉含片是“试点产品”，律师认为极草公司打了个法律擦边球，海口市工商部门将对极草广告涉嫌虚假宣传做进一步调查。\n生成摘要如下:", "response": [["天价极草虫草含片是“试点产品”？"]]}]
   
   
   
   
   
   
   
   
   
   
   
   
    ... ...

其中prompt是输入文本（prompt等价于 apalca中的prompt+input+instruct），即模型需要处理的文本段落、句子或片段。输入文本应该是与任务相关的内容，能够帮助模型理解任务的背景和上下文。对于摘要任务输入是原始文本，即需要进行摘要的文本内容。这可以是新闻文章、博客帖子、科技报告等各种类型的文本。此外在prompt中还需要包含有相关的指令信息或者任务的描述信息。如上面例子中的在prompt开头部分的『请根据下面的新闻生成摘要, 内容如下:』和结尾部分的『\n生成摘要如下:』。对于一个规范的数据这些描述信息在prompt也是必须的。
response表示目标输出，这些目标输出是人工标注的、符合任务要求的正确答案。对于分类、命名实体识别等任务，目标输出可以是类别标签、实体标注等。对于摘要任务输出是生成的摘要，它是从输入文本中提取出的关键信息，以简洁的方式表达文本的主要内容。摘要应该保留原始文本的核心概念和重要细节，同时避免冗余和不必要的信息。