大语言模型的发展历程是什么

一、概念定义：什么是大语言模型

大语言模型（Large Language Model，简称 LLM）是指在海量文本数据上预先训练、拥有庞大参数规模（通常达数十亿甚至千亿以上）的基座模型。其核心特点在于：通过预训练获得了通用的语言理解与生成能力，而并未针对某一具体任务进行专门的精细调整。

理解这一定义需要把握三个关键维度：

• 数据规模：训练语料覆盖书籍、网页、代码、论文等多种来源，量级通常达到数万亿词符；
• 参数规模：模型参数量从数十亿到数千亿不等，参数越多，模型容量越大，能够捕捉的语言规律也越复杂；
• 通用性：模型不针对特定任务设计，而是作为“基座”支撑多种下游应用，通过提示或轻量适配即可完成翻译、问答、摘要、代码生成等不同任务。

从技术视角看，大语言模型是一种基于深层神经网络的自监督学习系统；从使用视角看，它是一个可通过自然语言指令驱动的通用文本处理引擎；从业务视角看，它是降低人工智能应用门槛的基础设施。

二、背景与价值：从预训练语言模型到大语言模型

大语言模型并非凭空出现，其发展根植于预训练语言模型（Pre-trained Language Model，PLM）的长期积累。理解这一演进过程，需要先厘清预训练语言模型的两种主要模式。

2.1 特征提取模式

特征提取模式利用预训练模型提取文本的语义表示，将其作为下游任务的输入特征。这类模式下，预训练模型的参数在下游任务训练过程中保持不变，仅作为“特征抽取器”使用。典型的早期代表是基于词向量的模型——通过大规模语料训练得到每个词的稠密向量表示，再将此表示输入到下游分类器或序列标注模型中。

这一模式的价值在于：无需从头训练，即可获得具有一定语义泛化能力的文本表示。但其局限也很明显——模型参数不随任务更新，难以针对具体任务进行深度适配。

2.2 微调模式

微调模式不仅能提取文本特征，同时将预训练模型作为下游任务的主体模型，其参数会在任务训练过程中进行更新。这一范式让预训练模型真正成为“可迁移的学习器”，而非静态的特征工具。

两种代表性的微调模型架构如下：

自回归生成式模型：采用自左向右的文本生成方式，通过自回归方式进行预训练——即根据前文预测下一个词符。这种结构天然适合文本生成类任务，如对话、续写、摘要等。

双向编码器模型：采用双向编码器结构，通过掩码机制实现文本理解。其核心预训练任务包括：

• 掩码语言模型：随机遮盖输入序列中约15%的词符，并在模型顶层预测被遮盖的内容；
• 下一句预测：判断两个句子在原文中是否相邻，以学习句子间关系。

双向编码器模型在文本分类、命名实体识别、问答等理解类任务上表现出色，但其自身也存在明显局限性：

1. 预训练与微调阶段存在模式差异：掩码标记在预训练中起关键作用，但在下游任务中不会出现，导致两阶段输入分布不一致；
2. 训练效率受限：每次只能对约15%的词符进行预测，训练信号密度较低。

2.3 从微调模型到大语言模型的跃迁

微调模型通常是参数量较小的语言模型。它们首先进行预训练，然后在一个规模有限、专注于特定任务的数据集上进行再次训练，以优化其在该特定任务上的性能。

从实践角度看，参数在200亿以下的模型常被归为微调模型。尽管从技术上讲，对超大规模模型进行微调是可行的，但这在计算资源和工程上面临巨大挑战，尤其对学术研究机构或小型团队而言难以承受。事实上，即便是对30亿参数的模型进行微调，对许多个人或组织来说也依然是一项艰巨的任务。

大语言模型的出现改变了这一局面：通过扩大参数规模和数据规模，模型展现出涌现能力——即在未专门训练的任务上也能表现良好。这使得“预训练+提示”逐渐替代“预训练+微调”成为主流应用范式。

三、核心组成：三种基本架构

大语言模型主要可分为三种基本架构：

架构类型	结构特点	代表能力	典型适用方向
编码器-解码器	编码器理解输入，解码器生成输出	序列到序列转换	翻译、摘要、问答
仅编码器	双向注意力，擅长理解	文本表示与分类	情感分析、实体识别
仅解码器	自回归生成，单向注意力	文本生成与对话	对话、创作、代码生成

近年来，仅解码器架构已逐渐主导了大语言模型的发展领域。在早期，仅解码器模型的影响力与流行度不及仅编码器模型和编码器-解码器模型。然而，这一格局在2021年后被彻底改变，随着具有里程碑意义的超大规模自回归模型的发布，仅解码器模型迎来了显著的增长与繁荣。反观曾因双向编码器架构而风靡一时的仅编码器路线，其在大语言模型领域的热度则逐渐消退。

这一转变的根本原因在于：仅解码器架构在规模化训练中展现出更好的扩展性与通用性，且其自回归生成方式天然统一了“理解”与“生成”两类任务——理解可以视为条件生成的一种特例。

四、工作原理：预训练与适配

大语言模型的工作流程可概括为两个阶段：

第一阶段：预训练

在海量无标注文本上，通过自监督目标（如预测下一个词符）训练模型参数。这一阶段计算量巨大，但产出的是具备通用语言能力的基座模型。

第二阶段：适配

根据具体应用需求，通过提示工程、少样本学习或轻量微调等方式，将基座模型适配到目标任务。与大语言模型相对的是，传统微调模型需要在每个任务上单独训练一套参数，而大语言模型通过提示即可切换任务，显著降低了部署成本。

五、典型场景

• 对话与问答系统：利用生成能力构建智能助手；
• 内容创作与摘要：辅助写作、新闻摘要、报告生成；
• 代码生成与补全：根据自然语言描述生成代码片段；
• 知识抽取与结构化：从非结构化文本中提取实体与关系；
• 多语言翻译与跨语言理解：统一模型处理多语种任务。

六、相关概念区别

大语言模型 vs 微调模型：

• 参数规模：大语言模型通常达数十亿至千亿以上；微调模型常在200亿以下；
• 训练方式：大语言模型以预训练为主，适配阶段参数更新少；微调模型在特定任务上完整更新参数；
• 通用性：大语言模型通用性强，一模型多任务；微调模型专精性强，一模型一任务；
• 资源门槛：大语言模型训练与部署成本高；微调模型相对轻量。

七、使用注意事项

1. 计算资源评估：大语言模型的推理与微调均需显著算力，需提前规划；
2. 任务匹配：理解类任务可优先考虑仅编码器路线，生成类任务优先仅解码器路线；
3. 提示设计：大语言模型对提示敏感，需通过实验优化提示模板；
4. 成本与延迟：参数规模越大，推理延迟与成本越高，需结合业务场景权衡；
5. 数据安全与合规：涉及敏感数据时，需关注模型部署方式与数据隔离策略。

八、总结

大语言模型的发展历程，是从“预训练+微调”到“预训练+提示”的范式演进，是从仅编码器、编码器-解码器到仅解码器架构的路线收敛，也是从亿级参数到千亿级参数的规模跃迁。其核心价值在于：以通用基座替代任务专用模型，以提示适配替代全量微调，从而大幅降低人工智能应用的开发门槛。理解这一定义与演进逻辑，有助于在技术选型中做出更理性的判断。