模型参数是什么？

在接触大模型（Large Language Model）相关技术资料时，经常会看到“7B”“13B”“33B”“70B”这类数字标识。要理解这些数字的含义，首先需要弄清楚一个基础概念：模型参数。本文从定义出发，系统说明模型参数是什么、为什么重要、如何计算，以及在实际使用中需要关注哪些问题。

一、概念定义：模型参数是什么

模型参数（Model Parameters）是模型内部通过训练学习得到的一组数值，它们共同决定了模型对输入数据的处理方式和输出结果。 从数学角度看，模型本质上是一个带有大量可调数值的函数，这些可调数值就是参数；训练的过程，就是不断调整这些数值，使模型在给定任务上的输出尽量接近期望结果。

可以从三个视角进一步理解：

• 技术视角：参数是神经网络中各层的权重（weight）与偏置（bias）等可学习变量。以常见的线性变换为例，输出 y = Wx + b 中的矩阵 W 和向量 b 即为参数。
• 业务视角：参数是模型“知识”和“能力”的载体。模型在训练中见到的语言模式、事实关联、推理规律，最终都以参数数值的形式被“压缩”存储下来。
• 使用视角：参数规模直接关系到模型文件的体积、加载所需的显存/内存、推理速度与部署成本，是选型时最直观的量化指标之一。

需要区分的是，模型中还存在超参数（如学习率、批大小、层数）和非参数结构（如激活函数、网络拓扑）。超参数由开发者设定而非训练得到；模型参数则是训练产物，是模型文件真正保存的内容。

二、背景与价值：为什么参数这个概念重要

模型参数之所以成为行业通用的度量口径，原因有三：

1. 规模可量化。参数量是一个相对客观的数字，便于横向比较不同模型的体量，也便于估算存储与算力需求。
2. 能力与成本的风向标。一般而言，参数量越大，模型可容纳的知识与模式越丰富，但训练与推理成本也越高。参数量成为权衡“效果—成本”的关键变量。
3. 工程决策依据。部署时要评估显存是否够用、推理延迟是否可接受、是否需要量化压缩，这些都离不开对参数量的计算。

因此，理解参数，等于掌握了评估大模型落地可行性的第一把尺子。

三、核心组成与命名：7B、13B 到底指什么

大模型名称中的“7B”“13B”“70B”，B 是 Billion（十亿）的缩写，表示模型参数的总数量约为 70 亿、130 亿、700 亿个。例如一个标注为 6B 的模型，其参数总量约为 60 亿。

参数总量是各层参数之和。以典型的 Transformer 结构为例，主要参数分布在：

• 嵌入层：词表大小 × 隐藏维度，负责把 token 映射为向量；
• 注意力层：查询、键、值的投影矩阵及输出投影矩阵；
• 前馈网络层：两层线性变换的权重矩阵，通常参数量占比较大；
• 归一化层与输出层：归一化缩放参数、最终输出投影等。

用示意性伪代码表达总参数量的估算思路：

总参数量 ≈ 嵌入层参数 + 各Transformer层参数 × 层数 + 输出层参数
每一层参数 ≈ 注意力投影参数 + 前馈网络参数 + 归一化参数

可以看出，参数量与隐藏维度、层数、词表大小密切相关，这也解释了为什么不同模型即便层数相近，参数量也可能差异明显。

四、工作原理：参数如何参与计算

模型推理时，输入文本先被切分为 token，再经嵌入层转为向量，随后逐层经过注意力与前馈网络计算。每一层的计算本质上都是向量与参数矩阵的乘加运算，参数数值决定了特征如何被变换、哪些信息被保留和传递。最终输出层给出下一个 token 的概率分布，从而逐步生成文本。

训练阶段则相反：通过前向计算得到预测结果，计算与真实标签之间的损失，再通过反向传播求出每个参数的梯度，并用优化算法更新参数。经过大量数据迭代，参数逐渐收敛到能够较好完成任务的取值。

五、参数量与资源占用的关系

参数量最直接的工程影响是存储与显存占用。以常见精度估算：

• FP32（4 字节/参数）：6B 模型仅权重就约 24GB；
• FP16/BF16（2 字节/参数）：6B 模型约 12GB；
• INT8（1 字节/参数）：6B 模型约 6GB；
• INT4（0.5 字节/参数）：6B 模型约 3GB。

需要强调，以上仅为权重本身的占用。实际推理还需额外的激活值、缓存（如注意力 KV 缓存）和框架开销，因此真实显存需求通常高于权重体积。这也是量化、蒸馏等压缩技术被广泛采用的原因：在尽量保留效果的前提下降低参数精度或规模，从而减少资源占用。

六、典型场景与选型参考

• 资源受限的边缘或端侧场景：倾向选择参数量较小的模型，配合量化部署；
• 通用对话与内容生成：中等规模模型在效果与成本间较平衡；
• 高复杂度推理、长文本理解：可考虑更大参数规模，但需配套相应算力与显存；
• 私有化部署：需先按参数量与精度估算显存，再决定硬件配置与是否压缩。

七、容易混淆的概念区别

• 参数 vs 超参数：前者由训练得到，后者由人工设定；
• 参数量 vs 训练数据量：参数量是模型容量，数据量是学习素材，二者不是一回事；
• 参数量 vs 计算量：参数量影响存储与单次计算规模，实际算力消耗还与序列长度、批大小等相关；
• 总参数 vs 激活参数：部分稀疏结构模型总参数量大，但每次推理仅激活一部分参数，不能简单按总量估算成本。

八、使用注意事项

1. 不要只看参数量判断效果，训练数据质量、训练策略同样关键；
2. 估算显存时要计入缓存与框架开销，留出余量；
3. 量化可降低占用，但可能带来精度损失，需做效果评估；
4. 关注上下文长度对显存和延迟的影响，长文本场景尤需注意；
5. 选型时结合业务吞吐、延迟要求和硬件条件综合判断。

总结

模型参数是模型通过训练学到的可调数值，是模型能力与知识的载体，也是衡量模型规模、估算部署成本的核心指标。7B、13B、70B 等标识表示参数总量约为数十亿至数百亿。理解参数的定义、组成与资源换算关系，能够帮助开发者在模型选型、部署规划与性能优化中做出更理性的判断。参数规模是起点而非终点，效果、成本与场景匹配才是最终决策依据。