Scaling Law放缓？算力转化为智能的瓶颈与出路

一、分歧的焦点：算力还在涨，智能为什么慢了

近两年，关于大模型能力增长的判断出现了明显分歧，业内大致存在三种代表性声音：

• 平台期论：单纯堆砌预训练算力的路线正在进入收益平台期，智能的进一步增长需要转向新的研究范式，而不是更大的集群；
• 范式论：以预测下一个词为核心的大语言模型，无论规模推到多大，都难以触达真正意义上的通用智能，问题出在范式本身而非规模；
• 隐性承认：一些从业者以更含蓄的方式承认，投入更多GPU已经很难换回与过去同比例的智能提升。

三种立场针锋相对，却指向同一个事实：算力投入的曲线依然陡峭，用户可感知的智能跃迁却在放缓。于是，问题从“要不要继续Scaling”深化为一个更本质的追问——算力究竟是如何被转化为智能的？这条转化链路的哪一环正在失效？

二、一个更底层的视角：把训练看作“能源→智能”的转化

要回答上述问题，先要给“智能”一个可操作的定义。这里可以采用一种通俗而务实的界定：智能即模型的预测与创作能力——对序列中下一个元素的预测精度，以及在此基础上表现出的生成、改写与推理水平。

有了这个定义，大模型的训练过程就可以被抽象成一条清晰的转化链：

电力/能源 → 芯片执行的计算 → 对海量文本的统计学习 → 固化在参数中的可复用能力

换言之，过去十年大模型的技术本质可以概括为一句话：把电力能源通过计算过程转化为可复用的智能。GPU集群消耗的是能源，产出的是一份可以被无限次复制、随取随用的权重文件——也就是“智能的存量”。

这个视角的价值在于，它把“Scaling Law是否失效”从立场之争还原成一个工程问题：转化链路上每一环的效率如何？瓶颈出现在哪一环？沿着链路往下拆解，会发现过去十年的成功建立在三个隐含假设之上，而这些假设如今都不同程度地逼近了自己的边界。

三、三大支柱：过去十年成功的隐含假设

3.1 支柱一：预训练是智能的主要来源

大模型绝大部分知识与能力形成于预训练阶段。指令微调、基于偏好信号的对齐等后训练环节，更多承担“对齐、激发与格式化”的角色，而非注入全新知识。

这并不是说后训练算法无效，而是能源（算力）投入的规模不在一个数量级：预训练阶段消耗的算力与数据吞吐，通常比后训练高出若干个数量级。按照“算力即智能原料”的框架，智能的主要存量自然沉淀在预训练之中。

阶段	算力投入	数据来源	主要作用
预训练	极大，占总投入的绝大部分	无标注海量语料	形成知识与能力的主体
后训练（微调/对齐）	相对小若干个数量级	指令数据、偏好数据	对齐意图、激发能力、规范输出格式
推理时计算	按实际使用投入	模型自身 + 外部信息	在单次任务内以算力换质量

这一支柱的隐含假设是：公开文本中存在足够丰富、多样的“可学习结构”，且随着算力增长，总能把它们持续压进更大的模型。这个假设正是当前最先遭遇挑战的一环。

3.2 支柱二：Next-Token Prediction，一个极其成功的损失设计

Next-Token Prediction（下一词预测）的成功并非偶然。用一个极简的训练循环就能看清它的形态：

# Next-Token Prediction 训练循环（示意）
for x in dataloader:                  # x: [batch, seq_len]，来自无标注语料
    logits = model(x[:, :-1])         # 用前 n-1 个 token 作为输入
    loss   = cross_entropy(logits, x[:, 1:])  # 目标就是“下一个 token”
    loss.backward()
    optimizer.step()

它的成功可以归结为三点：

1. 目标简单，却与智能高度相关。要准确预测下一个词，模型必须隐式掌握语言规律、世界知识、上下文逻辑甚至作者意图，一个廉价的监督信号撬动了庞大的学习能力；
2. 近乎无限的数据供给。它属于自监督学习，每个位置都产生稠密的训练信号，无需人工标注；人类积累的文本、代码等语料几乎可以不经加工直接投入使用，最大化减少了人为干预；
3. 极少的主观偏置。相比人工设计规则或标注体系，预测目标本身更中立，避免了规则系统的脆弱性与标注者的主观偏差。

它的隐含假设同样明显：模仿历史分布即可逼近智能，且历史数据的分布足以覆盖未来任务。这一假设在“复现与组合已有知识”的场景下表现良好，但在需要主动探索、试错与验证的任务上存在结构性短板——模型始终在“复读”中学习，缺少行动之后的反馈闭环。

3.3 支柱三：Transformer胜出的本质——它本身就是一台并行计算机

Transformer战胜循环结构的深层原因，可以从硬件适配性的角度理解：

# 自注意力（示意，省略多头与因果掩码细节）
Q, K, V = X @ Wq, X @ Wk, X @ Wv
A = softmax(Q @ K.transpose(-2, -1) / d_k ** 0.5)
Y = A @ V        # 序列内所有位置在一次前向中并行完成

• 并行度：循环网络必须沿时间步逐步递推，而自注意力把序列依赖压缩为一次矩阵运算，训练时序列内所有位置可同时计算；
• 算子规整：主体计算是稠密矩阵乘法，计算密度高、访存与通信模式规则，能够把现代加速硬件的有效算力“吃满”；
• 可扩展性：结构规整使得数据并行、张量并行、流水线并行等分布式策略都容易在其上实施。

因此，Transformer不仅是一个网络结构，更像一台用软件写成的并行计算机：当集群规模扩大时，它能高效地把新增芯片转化为新增的有效计算。它的胜出，本质上是与并行硬件“适配性”的胜出。相应地，它的隐含假设是：并行度可以随集群规模持续提升，通信开销与显存约束不会成为主导瓶颈——在超大集群与超长上下文场景下，这个假设同样开始承压。

四、三个假设正在同时逼近边界

4.1 数据侧：高质量语料的消耗快于再生

公开、高质量的文本语料是有限的存量，而模型的“消化能力”随算力增长不断扩张，其速度远超人类生产新知识的速度。当可采掘的数据接近见顶，继续增加算力就会面临“无米下锅”。合成数据可以缓解数量问题，但若缺乏严格的过滤与配比，容易出现分布收窄、错误模式被循环放大的风险。

4.2 算力侧：报酬递减的数学与现实

经验规律表明，测试损失随算力、数据量与参数规模呈幂律关系下降。幂律意味着：同等幅度的损失改善，需要投入呈指数级增长的资源。更关键的是，从“损失下降”到“用户可感知的能力提升”之间并非线性映射——不同能力的饱和速度不同，基础能力接近饱和后，剩余难点（长程推理、事实一致性、结果可验证性）往往无法靠同比例堆算力解决。

4.3 范式侧：单向预测的结构性约束

下一词预测是“一次前向、单方向、无持续更新”的过程，而复杂推理任务的形态是“多步推导、反复验证、根据反馈修正”。两者之间存在错位。这不是断言预测式学习错了，而是它的收益区间正在被填满，边际空间需要新的机制来开启。

五、可能的出路：从单一维度扩展走向多维协同

5.1 推理时计算：开辟第二条扩展曲线

把“算力→智能”的转化从训练阶段延伸到使用阶段：对同一模型，通过更长的思考链、多次采样与结果聚合、搜索配合验证器等方式，在单次任务上投入更多推理算力以换取更高质量的输出。这相当于在训练扩展之外，开辟了一条新的扩展维度。

5.2 数据工程：从“有什么用什么”到“缺什么造什么”

课程化的数据配比、面向薄弱能力的定向合成、基于质量与多样性的数据清洗管线，正在取代“堆原始语料”成为新的竞争力来源。数据侧的精细化运营，可以直接抬升算力的转化效率。

5.3 算法与系统协同：抬高效率常数

混合专家结构在控制推理成本的同时扩大参数容量；面向长上下文的稀疏/线性注意力变体降低注意力开销；低精度训练与量化推理减少单位计算能耗；更精细的分布式并行调度减少集群空转。这些手段不改变幂律的形状，却能显著抬高整条转化链路的效率常数。

5.4 从模仿到试错：引入可验证的反馈信号

以可验证结果（如代码可运行、计算可验算）作为奖励信号的强化学习，为模型补上了“行动—反馈—修正”的闭环，使其在预测之外获得来自环境与规则的纠偏信息，缓解纯模仿学习的结构性缺陷。

六、对开发者与企业的三点启示

1. 评估模型不要只看参数规模。能力是“数据质量×算力投入×训练方法×推理配置”的联合结果，单看规模容易误判性价比；
2. 智能存在边际成本，预算要花在转化效率上。相比单纯叠加推理算力，完善数据治理与评测体系往往更能提升最终效果；
3. 工程链路可依托通用云能力搭建。主流云平台普遍提供GPU算力实例、容器服务、对象存储、日志服务与监控告警等通用类目能力，足以支撑从语料管理、分布式训练到模型部署与观测的完整实验闭环。

七、结语

Scaling Law并没有被证伪，被重新界定的是它的适用条件：当数据供给、范式结构与系统效率成为新的约束时，智能增长的主战场正从“单维度的规模扩张”转向“多维度的协同优化”。“能源→计算→智能”的转化链路依然成立，只是链路上的每一环——数据、目标函数、架构与系统——都需要被重新审视、重新加固。对从业者而言，与其争论Scaling是否终结，不如把注意力放在识别当前约束、提升转化效率上：这既是下一阶段技术竞争的核心，也是理解本轮行业分歧的钥匙。