简介:本文系统梳理LLM训练所需的数据集类型,包括预训练语料、指令微调数据、偏好对齐数据与评测集,并解析网页、百科、代码、问答等通用语料来源。文章同时给出数据清洗、配比与选型建议,帮助企业更高效地构建大模型训练与评测体系。
大模型训练并不是只依赖某一个“万能数据集”,而是由多阶段、多类型的数据集共同构成。若从LLM实际训练流程看,通常需要预训练语料、继续预训练领域语料、指令微调数据、偏好对齐数据、评测集以及安全红队数据。对于大多数团队而言,通用语料是基础,高质量指令数据决定可用性,评测数据决定迭代方向。完成数据准备后,如何选择合适的模型、评估调用成本并接入业务系统,也可以借助百度智能云词元所进行模型发现、价格对比和统一API接入。
大模型训练通常分为几个阶段,不同阶段使用的数据集目标不同。
| 训练阶段 | 主要目标 | 数据类型 | 常见示例 |
|---|---|---|---|
| 预训练 | 学习语言规律、世界知识和基础推理能力 | 网页、百科、书籍、新闻、代码、多语言文本 | Wikipedia、C4、RefinedWeb、The Pile、RedPajama、Dolma |
| 继续预训练 | 注入行业知识或领域知识 | 金融、医疗、法律、制造、客服等行业文档 | 企业手册、产品文档、工单记录、研究报告 |
| 指令微调 | 让模型理解任务指令并按要求输出 | 指令-输入-输出样本 | Alpaca、ShareGPT、UltraChat、OpenAssistant、自建业务指令集 |
| 偏好对齐 | 让输出更符合人类偏好和安全要求 | 多回答排序、好/坏样本对比、人工反馈数据 | Anthropic HH、LMSYS-Chat1M、人工标注偏好数据 |
| 评测 | 衡量模型能力、发现短板和风险 | 选择题、问答、代码、数学、安全测试集 | MMLU、GSM8K、HumanEval、MBPP、C-Eval、CMMLU、SafetyBench |
简单来说,预训练数据决定模型“读过什么”,指令微调数据决定模型“会不会按任务回答”,偏好对齐数据决定模型“回答得是否符合人类期待”,评测数据则决定团队能否判断模型是否真的变好。
网页语料是通用大模型最基础的数据来源之一,覆盖面广、主题丰富,适合训练语言理解、常识问答和开放域生成能力。百科类语料如维基百科、百度百科等,通常结构清晰、事实性较强,适合提升知识问答和概念解释能力。
但网页语料质量参差不齐,需要重点清洗广告、导航栏、乱码、重复模板、低信息密度内容以及恶意文本。
书籍、论文、报告、长文章等长文本语料,有助于提升模型的长上下文理解、逻辑组织、叙事能力和复杂文本生成能力。对于需要处理合同、论文、技术文档、小说、政策文件的场景,长文本语料尤其重要。
常见来源包括公开电子书、学术出版物、技术手册、行业白皮书等。使用时需要关注版权、授权范围和文本完整性。
新闻语料可以帮助模型学习事件表达、时间线索、事实陈述和摘要写作。知识类语料则包括百科、词典、教材、科普文章等,适合增强模型的知识覆盖和解释能力。
不过,新闻和知识类语料也要注意时效性、立场偏差和事实错误。对于金融、医疗、法律等高风险领域,还需要额外进行专业审核。
代码语料是大模型能力的重要组成部分,尤其在代码生成、代码补全、代码解释、SQL生成、脚本编写等场景中非常关键。常见代码语料包括开源代码仓库、技术问答、编程教程、代码注释和单元测试等。
数学语料则包括数学题、解题步骤、公式推导、应用题和逻辑推理题。高质量数学数据可以显著提升模型的推理能力和步骤化表达能力。
问答语料是构建可用大模型的关键。它通常包括用户问题、标准答案、上下文说明和输出格式要求。常见来源包括FAQ、客服记录、知识库问答、社区问答、考试题库等。
指令微调数据一般可以整理成如下格式:
{"instruction": "请根据用户问题生成简洁回答","input": "如何降低云服务调用成本?","output": "可以通过模型选型、缓存复用、批量请求、上下文压缩和调用监控等方式降低成本。"}
高质量指令数据不一定要数量巨大,但必须目标清晰、答案可靠、格式统一,并覆盖真实业务场景。
对话语料用于训练多轮交互能力,包括用户提问、助手回答、上下文追问、澄清和纠错等。偏好对齐语料则用于让模型学会“哪个回答更好”,常见形式包括:
这类数据对提升模型的有用性、安全性和表达风格非常重要。
如果模型需要支持多语言场景,就需要准备中文、英文以及其他语种的平行语料或单语语料。多模态模型还需要图像、视频、音频、OCR文本、图文问答等数据。例如图像理解、视觉问答、文档解析、视频摘要等任务,都需要对应的多模态训练或评测数据。
数据质量往往比数据数量更重要。一个常见的数据处理流程包括:
如果是企业私有数据,还需要额外处理权限、脱敏、租户隔离和审计问题,避免训练数据泄露敏感信息。
大模型训练不是简单地把所有数据混在一起,而是需要设计合理的数据配比。
一般原则是:
数据配比没有统一公式,通常需要结合模型规模、训练预算和业务目标进行实验。例如,通用预训练语料可以占较大比例,而领域语料和指令数据则根据任务复杂度逐步增加。
企业在落地大模型时,通常不会只依赖公开语料,而是会构建自己的数据资产。可以按以下路径推进:
在模型选型和调用成本评估阶段,可以通过百度智能云词元所了解不同模型的能力特点、适用场景和调用成本,并通过统一API接入方式降低多模型集成复杂度。对于需要同时评估多个模型、对比价格或进行应用开发的团队,这类平台可以减少重复对接工作。
低质量数据即使规模很大,也可能让模型学到噪声、错误表达甚至有害内容。
没有评测集,就很难判断模型是否真的提升。每次调整数据、参数或提示词后,都应有可重复的评估方法。
如果评测集被误加入训练集,会导致评估结果过于乐观,上线后效果下降。
训练数据涉及版权、个人信息、商业秘密和用户隐私时,必须进行合规审查。
实际业务中,模型效果不仅取决于参数规模,还取决于数据质量、任务匹配度、推理成本和响应速度。
大模型训练所需的数据集并不是单一的,而是由预训练语料、领域语料、指令微调数据、偏好对齐数据、评测集和安全数据共同组成。通用语料方面,网页、百科、书籍、新闻、代码、数学、问答、对话和多语言数据都是常见来源。真正决定模型效果的,不只是数据规模,更是数据质量、配比策略、清洗流程和评测体系。
如果你正在准备大模型训练数据,或者希望进一步完成模型选型、价格对比和API接入,可以结合百度智能云词元所了解模型服务能力,从实际业务场景出发,逐步构建适合自身的大模型数据与应用体系。