Scaling Law还能走多远？大模型智能增长瓶颈探析

一、共识松动：当“堆算力”换不来同比例的智能

过去两年，大模型行业出现了罕见的“共识松动”。几位最具话语权的行业人物，几乎在同一时间段释放出方向并不一致的信号：

• 预训练范式最重要的推动者之一公开表示，单纯堆砌预训练算力的做法正在进入平台期，智能的持续增长需要转向新的“研究时代”；
• 长期对大语言模型持批判态度的资深学者则坚持认为，现有架构无论怎么扩大规模，都难以触达通用人工智能（AGI）；
• 甚至连最积极采购算力的头部实验室负责人，也在公开场合含蓄承认：投入更多的GPU，已经换不回同比例的智能跃迁。

信号可以争论，但工程实践中观察到的现象很难被忽视：算力还在涨，预训练损失的下降却在放缓，智能的跃迁似乎变慢了。

与此同时，一位长期研究大规模训练系统的学者在技术社区发表长文，把讨论拉到一个更底层的问题上：算力是如何被转化为智能的？这种转化机制是否正在失效？本文沿着这条线索，把散落的争论整理成一份面向工程师的系统性分析。

二、一个能源视角：把电变成可复用的智能

讨论瓶颈之前，先要明确“智能”指什么。比起哲学化的定义，工程上更实用的界定是：模型的预测与创作能力——它可度量、可对比、可优化。

在此基础上，一个值得深思的命题是：过去十年，AI大模型的技术本质，是把电力能源通过计算过程转化为可复用的智能。这个判断与强化学习领域一位资深研究者长期倡导的观点不谋而合：通用方法加上海量算力，长期会胜过精巧的人工先验。

把这句话拆开，是一条清晰的转化链条：

电厂供电 → 数据中心 → 芯片算力（FLOPs）→ 训练消耗的Token → 模型权重 → 推理服务

关键洞察在于最后一环：权重是一种“储能介质”。智能被一次性铸造进参数里，之后可以千万次调用而无需重新“发电”。训练成本被海量请求摊薄，智能第一次变成了一种可复用、可摊销的资产。

由此可以推出一个评估一切训练技术的第一性指标：每单位电能，能换取多少单位的智能提升。过去十年的高速增长，本质上是这条转化管线的效率红利；而今天的焦虑，本质上是管线效率开始触顶的信号。

三、十年成功的三大隐含假设

大模型为何能成？回过头看，成功建立在三个隐含假设之上。理解它们，才能理解它们为何正在逼近边界。

3.1 假设一：预训练是智能的主要来源

从算力投入看，各阶段的能源投入完全不在一个数量级：

阶段	算力量级（示意）	主要作用
预训练	通常占总预算的绝大部分	注入知识与基础能力
监督微调	比预训练低3~4个数量级	激发格式、任务对齐
强化学习对齐	介于两者之间，高度依赖场景	行为塑形、偏好对齐

这解释了一个容易被误解的现象：微调与强化学习阶段的贡献“有限”，并非算法无效，而是能源投入规模差了几个数量级。打个比方：预训练是修建水库，后训练是修整水渠——水渠决定水怎么流，但水库决定有没有水。

推论也很直接：如果预训练收益递减，后训练很难独立支撑智能的持续增长，因为“水源”本身来自预训练。

3.2 假设二：Next-Token Prediction是极其成功的Loss设计

从优化视角看，下一个词预测几乎是一个“完美”的训练目标：

• 自监督，数据近乎无限：任何文本天然自带标签（下一个词），无需人工标注，互联网规模 directly 决定了数据规模；
• 信号稠密：序列上每个位置都产生梯度，没有监督学习常见的标注稀疏问题；
• 目标与任务对齐：训练目标就是生成任务本身，训练与推理分布高度一致；
• 人为干预最小化：算法不预设“什么知识重要”，把选择权交给数据与算力。

正是这种“减少人为干预”的设计，让Scaling Law得以成立——研究者不需要为扩展设计新机制，只需要加数据、加算力。

3.3 假设三：Transformer的胜出，本质是它是一台并行计算机

Transformer击败循环架构的原因，常被归结为“长依赖建模能力”，但更工程化的解释是并行性：

• 循环网络存在串行依赖，训练时必须沿时间步逐步推进；Transformer在训练时可以对整个序列的所有位置并行计算；
• 其计算主体是大规模矩阵乘法，天然契合加速器硬件的算力特性；
• 扩展行为可预测，让“加卡即涨点”成为可能，投资回报曲线清晰可算。

换句话说，Transformer是算法与硬件协同设计的产物：它把“训练模型”变成了“跑一种高度并行的计算任务”，这才使得把电大规模转化为智能在工程上可行。

四、转化机制为何开始减速：四重瓶颈

上述假设同时成立时，Scaling Law势如破竹。而今天的问题在于，四个环节同时出现约束。

4.1 数据墙：燃料逼近采尽

高质量公开文本语料的存量是有限的，而模型对数据的需求随规模增长。当“人类写的高质量文本”逼近采尽，继续堆算力就会面临无米之炊；重复数据与低质数据的边际收益急剧下降。朴素地用模型生成数据自我喂养，若无严格验证闭环，还存在分布收窄、误差累积的风险。

4.2 算力墙：幂律决定的数学事实

Scaling Law本身是幂律形式，这从数学上就注定了报酬递减。用示意代码直观感受一下陡峭程度：

# 业界广泛引用的幂律形式（示意）：L(C) = a * C^(-alpha)
ALPHA = 0.05
def compute_multiplier(loss_drop: float) -> float:
    """损失每降低 loss_drop 比例，所需算力放大的倍数"""
    return (1 / (1 - loss_drop)) ** (1 / ALPHA)
for d in (0.05, 0.10, 0.20):
    print(f"损失下降 {d:.0%} → 约需 {compute_multiplier(d):.1f} 倍算力")
# 示意输出：
# 损失下降 5%  → 约需 2.8 倍算力
# 损失下降 10% → 约需 8.2 倍算力
# 损失下降 20% → 约需 86.7 倍算力

更微妙的是：损失下降与能力提升并非线性关系。预训练损失降了0.1，评测基准未必同幅提升；部分“涌现能力”争论的根源，就在于评测指标的不连续性放大了微小损失的差异。

4.3 范式墙：拟合分布不等于理解世界

Next-Token Prediction本质上是对静态语料分布的拟合。模型没有与环境交互的通道，没有“做错了会失败”的反馈信号。它可以完美复述训练分布内的知识，却难以稳定地在分布外推理——幻觉问题的根源正在于此。它知道“什么样的文字常见”，不等于它“会解决问题”。

4.4 系统墙：能耗与成本的硬约束

到了千卡、万卡规模，约束从算法层转向系统层：显存墙限制单卡可承载的模型与上下文，通信墙限制横向扩展效率，功耗墙与散热则直接决定数据中心选址与成本。当单位Token的训练与推理成本不再快速下降，“把电变成智能”的转化效率就进入了平台期。

# 一次预训练的"电→智能"账本（数字纯属示意）
cluster_power_kw = 30_000   # 集群平均功率
pue = 1.2                   # 数据中心能效系数
days = 90                   # 训练时长
tokens = 10e12              # 训练Token数（示意）
energy_mwh = cluster_power_kw * pue * 24 * days / 1000
print(f"总耗电 ≈ {energy_mwh:,.0f} MWh")
print(f"每十亿Token ≈ {energy_mwh / (tokens / 1e9):.1f} MWh")

五、破局方向：从单变量外推到多变量协同

瓶颈并不意味着终局，而是意味着增长的主轴要切换。目前业界公认的几个发力点：

1. 推理时计算：把算力从“训练时堆”部分转移到“推理时花”——通过搜索、自我验证、长思维链，让模型在回答时“多想几步”。这相当于在同一模型上用运行时算力换取能力上限。
2. 可验证奖励的强化学习：在数学、代码等可以自动判分的领域，RL为模型提供了缺失的交互与反馈信号，补上静态语料给不了的“做中学”。
3. 数据工程升级：从“有什么用什么”转向精细化运营——质量过滤、去重、课程化编排、带验证闭环的合成数据。
4. 架构演进：稀疏专家结构用更少激活算力换取更大容量；长上下文与检索增强把部分记忆外置；多模态让模型从文字之外的信号中获得接地（grounding）。
5. 系统与基础设施优化：算法-硬件协同设计、提升算力利用率、压缩与蒸馏降低推理成本。对多数团队而言，自建万卡集群并不现实，借助云平台是更务实的路径——例如依托百度智能云等云厂商提供的GPU算力集群、高速互联网络、对象存储与监控告警等通用能力，团队可以把精力集中在数据与算法迭代本身，而不是机房与运维。
6. 新研究时代：持续学习、记忆机制、智能体化——让智能从“一次性铸造”走向“持续进化”。

六、结语：Scaling Law没有失效，失效的是粗糙解读

回到标题的问题：Scaling Law时代还能走多远？

更准确的回答是：幂律本身依然成立，但它描述的是“损失”，而不是“能力”；它也从未承诺“只拧预训练这一个旋钮”。真正的转折在于——过去十年，我们把智能增长简化为一个单变量外推问题（算力×2，智能+ε）；而接下来，增长将来自多变量协同：数据质量、后训练强化学习、推理时计算、系统效率，每一项都是新的杠杆。

“电力→算力→智能”的能源视角，最大的价值在于给了工程师一把尺子：任何新技术的意义，最终都要折算成“每瓦特换来了多少智能”。谁能在下一个十年提高这个转化效率，谁就掌握了通向AGI的真正杠杆。