外观
规模法则
规模法则（scaling laws）描述了大语言模型最反直觉的经验规律：在很大范围内，语言模型的损失随模型参数、训练数据量、计算量的增加，按平滑的幂律（power law）下降——"规模"不是玄学，而是有明确曲线可预测的工程变量。 它是"大语言模型"之所以选择"大"的科学依据，也是预训练预算分配的第一决策框架。
一句话定位：规模法则 = 用一条幂律曲线回答"再堆多少计算/参数/数据，损失能降多少"，以及三者如何最优搭配。 它的适用范围、前提与争议，恰恰是理解它的重点。
一、Kaplan 2020：三条幂律
OpenAI 的 Scaling Laws for Neural Language Models（2020 年 1 月）系统测量了 Transformer 语言模型（架构见Transformer 架构详解）在数亿到数十亿参数范围内的表现，得到三个核心结论：
结论一：性能主要由模型规模 N、数据量 D、计算量 C 决定，网络架构（层数/宽度比例）、优化器、激活函数等细节的影响远远小于规模本身。
结论二：损失随 N、D、C 分别满足幂律：
text
模型规模幂律： L(N) ≈ (N_c / N)^α_N
数据量幂律： L(D) ≈ (D_c / D)^α_D
计算量幂律： L(C) ≈ (C_c / C)^α_C
其中幂指数（近似值，原文含分段精细估计）：
α_N ≈ 0.076（对 8B WebText2 子集）
α_D ≈ 0.095
α_C ≈ 0.050
形式含义：每把规模翻 10 倍，损失按固定比例下降；
指数越小，规模翻倍的收益越小。结论三：大模型更"样本高效"。同样的数据量下，更大的模型损失更低；也就是"喂同样的数据，大模型消化得更好"。由此引出当时的重要判断：在数据量相对不足时，加参数比加数据更划算——GPT-3 选择 175B 参数配约 300B token 正是这一思路的体现（"欠训练"这个正式判断要到 2022 年 Chinchilla 论文才明确提出，见下一节）。
Kaplan 还指出一个工程红利：在相当范围内，小模型的训练曲线可以预测大模型——用小规模实验外推大模型的损失与表现，成为预训练：数据与目标预算决策的标准手法。
二、Chinchilla 2022：计算最优配比
DeepMind 的 Training Compute-Optimal Large Language Models（2022 年 3 月）修正了一个关键盲点：Kaplan 是在固定数据量下测的，没有回答"如果给你固定的计算预算，参数和数据该怎么分配"。Chinchilla 的答案是：参数与训练 token 数应按大约 1:20 配比同步增长——即平均每个参数配约 20 个训练 token。
text
对固定计算预算 C，最优分配（Chinchilla 模型族拟合结果）：
N_opt ∝ C^0.5 （参数量随预算平方根增长）
D_opt ∝ C^0.5 （数据量随预算平方根增长）
→ 意味着参数与 token 保持约 1:20 的固定比例
经验公式（近似）： L(N, D) ≈ E + A/N^α + B/D^β
其中 α ≈ 0.34，β ≈ 0.28（拟合自不同规模的 400+ 次训练）
Chinchilla-70B 的配置：70B 参数 + 1.4 万亿 token，正是按 1:20 设计。这一结论冲击巨大：此前几乎所有大模型都"过参数化、欠训练"——GPT-3 是 175B 参数配 300B token（约 1:1.7），按 Chinchilla 标准只用了约 1/12 的应配数据（应配约 3.5T）。直接后果是行业转向"更小参数 + 更多数据"：
| 模型 | 参数量 | 训练 token | 参数:token | 相对 1:20 |
|---|---|---|---|---|
| GPT-3（2020） | 175B | 约 300B | 约 1:1.7 | 严重欠训练 |
| Chinchilla（2022） | 70B | 1.4T | 1:20 | 计算最优 |
| Llama 2（2023） | 70B | 2T | 1:28 | 略过训练 |
| Llama 3（2024） | 405B | 约 15T | 约 1:37 | 明显过训练 |
| DeepSeek-V3（2024） | 671B(MoE) | 约 14.8T | 约 1:22（按总参数） | 接近最优 |
"1:20" 是近似、是起点不是终点
Chinchilla 的 1:20 是"训练计算最优"——即训练一次的总成本最小。但部署模型还要考虑推理成本：参数越大、每次推理越贵。所以许多团队刻意"过训练"更大模型（如 Llama 3）：多花一点训练钱，换来"同样的能力、更小的模型、更便宜的推理"。此外 MoE、数据质量差异都会平移最优配比，具体项目应做自己的消融实验。
三条曲线的同一张图
text
固定计算预算 C 下（双对数坐标示意）：
损失 L
│
│ ╲ N 固定、加 D （沿数据轴下坡，增速放缓）
│ ╲
│ ╲___ D 固定、加 N
│ ╲___
│ ╲___ N 与 D 按 1:20 同步加（最优路径，最陡）
└─────────────────────────▶ 规模（参数/数据/计算）
直觉：三条轴上的幂律斜率不同；
最优路径 = 让"当前最稀缺的资源"跟上其它两者。一个必须强调的细节：幂律描述的是"验证损失"，而产品关心的是"下游能力"。损失是连续平滑下降的，能力却可能阶梯式变化（见下节"涌现"）——用损失预测能力时，同样的损失差在大模型上对应的能力差可能远大于小模型。因此预算决策要同时盯两条曲线：损失曲线（平滑、可外推）与能力曲线（陡峭、任务相关）。
用幂律算一笔账（示意）
假设在某架构与数据分布下拟合得 L(N) = (N_c/N)^0.076（Kaplan 近似），从 1B 参数扩到 10B 参数（10 倍），损失下降约 1 − 10^(-0.076) ≈ 16%（相对值）；从 10B 到 100B 又是约 16%。每翻 10 倍规模，收益是固定的百分比且逐步收窄——这就是幂律最实用的解读：先做小规模拟合出自家曲线的指数，就能外推出"再花多少钱能降多少损失"，而不是拍脑袋。
三、涌现能力：量变如何变成质变
与"损失平滑下降"并行的现象是：某些任务的能力在某个规模阈值附近从接近随机突然跳到远超随机——Wei et al. 2022 称之为涌现能力（emergent abilities），包括少样本算术、多步推理、指令跟随、代码生成等。但这一概念很快引发争论：
| 观点 | 核心主张 | 代表 |
|---|---|---|
| 涌现是真实的能力跃迁 | 部分任务只有在规模越过阈值后才可预测地出现，小模型完全无法完成 | Wei et al. 2022 |
| 涌现是度量造成的假象 | 用"准确率"这类非线性度量测"连续提升的能力"，会人为制造断崖；换成线性度量（如 log 损失、token 级评估）后提升是平滑的 | Schaeffer et al. 2023 |
这场争论的实际意义不在"谁对"，而在方法论：用单一任务的准确率看规模效应会被度量本身误导。更稳妥的框架是：
- 能力轴：评测分数（涌现观，见评测与基准）与损失轴（平滑幂律）是两回事；对"能不能涌现"要按具体任务与度量分别审视。
- 不可预测性是涌现的实用定义：对某个任务，能否在训练前从小规模外推其表现？不能，则该任务对工程师而言"存在涌现"——这决定了预算分配的风险。
- 实践影响：涌现的存在意味着"小模型验证结论"不能无限外推，某些能力必须训到足够大才能获得。
对"假象论"的回应同样有据可查：Wei 等人的后续分析指出，涌现并非对一切任务都成立——部分任务确实随规模平滑上升，另一些则呈现清晰的断崖，且"何时涌现、以什么形式涌现"无法从小规模预训练中外推。更有意思的是，同一个能力用不同的度量（准确率 vs 逐 token 损失）会得到不同的"涌现形态"，这说明涌现的可见性依赖度量，但能力本身的非线性增长是真实的。对工程而言，这意味着一件事：想验证某个关键能力能否在大模型上出现，小规模实验只能给"风险提示"，不能给"保证"。
对工程的提醒
规模法则给出的是"平均预期"；单个任务可能迟迟不涌现，也可能早早涌现。做预训练预算时，请把"关键任务在小规模上的表现"与"损失曲线的平滑外推"同时纳入决策，而不是只看某一个指标。
四、第四维度：推理时扩展
2024 年起，行业在"训练规模"之外验证了另一条扩展轴——推理时扩展（test-time scaling / inference-time compute）：不改变模型，通过让模型在推理时"想更久"（生成思维链、自我反思、多轮搜索）来提升复杂任务表现。
text
o1 / o1-mini / o3 系列的范式（OpenAI, 2024）：
训练阶段：用强化学习教模型"会规划"（RL on long-CoT）
推理阶段：允许模型生成数千~数万 token 的隐藏思维链，
再给最终答案 —— 用推理计算换正确率
现象：代码/数学/科学任务上，正确率随推理 token 数
近似平滑上升 —— 出现"推理侧的规模法则"
对新问题的表述：给定总预算（训练 + 推理），
分配多少给训练、多少给推理，是最优的？—— 新的 Chinchilla 式问题推理时扩展代表"规模法则"从训练维度扩展到使用维度，与模型蒸馏、长上下文等技术共同构成"能力天花板之外再挖一层"的手段。当前沿进展见前沿进展。
一个可观察的例子：o1 系列在数学与代码竞赛级题目上，允许更长的思维链（更多推理 token）时正确率明显上升——这是"推理时间换正确率"的直观证据；与此同时它也带来更长的延迟与更高的推理成本（一次思考可达数万 token），所以"推理时扩展的回报"同样服从边际递减，需要与训练侧扩展统筹。o1 之外，推理时搜索（类 MCTS）、多智能体辩论等也都在这一范畴内。
五、对实践的启示：先加数据还是先加参数？
规模法则不是纸上公式，它直接指导资源分配：
| 场景 | 建议 | 依据 |
|---|---|---|
| 训练预算固定 | 按 1:20 计算最优配比设计模型与数据 | Chinchilla |
| 推理成本敏感（高并发产品） | 训练一个"过大但更强"的模型，再蒸馏/选用更小部署 | 推理预算视角 |
| 想快速验证方向 | 小模型 + 短数据做消融，用幂律外推大模型表现 | Kaplan 的可预测性 |
| 数据稀缺 / 数据贵 | 优先加数据（多数团队的真实瓶颈） | 欠训练普遍存在 |
| 评估单任务能否达标 | 小规模外推 + 按任务的"涌现阈值"分险 | 涌现争论的工程结论 |
实际做预算时可以按这个顺序走：① 用小模型（如 0.1B~1B）+ 目标数据的子集跑一组规模阶梯实验，拟合出本团队的 L(N,D) 曲线；② 根据目标损失（或关键任务指标）反推需要的 N 与 D；③ 用 1:20 左右的配比圈定候选方案，再按推理成本偏好微调；④ 全程保留小规模消融的可复现基线，作为大规模训练中途的对照。规模法则的价值正在于此——它把"拍脑袋堆算力"变成"有曲线可查的预算决策"。
规模法则的三个前提别忽略
① 幂律成立在"架构与数据分布不变"的范围内——换架构、换 tokenizer、换数据配比，曲线整体平移；② 损失下降 ≠ 下游能力同步提升（涌现可滞后）；③ 它是经验拟合，不是物理定律，边际收益终究会衰减，"无脑堆规模"不是免费午餐。
六、超参数按规模迁移（μP 简述）
与"规模影响性能"相关的另一条线是超参数迁移。传统上学习率、初始化尺度等需随模型规模重调；最大更新参数化（maximal update parametrization, μP，Yang et al.）从神经网络"张量程序"理论出发，给出随宽度/深度正确缩放参数化的方案，使得在小模型上调好的学习率、初始化等超参数，在更大模型上直接复用。
text
经典问题：7B 上调好的 LR=3e-4，推到 70B 是否直接可用？
（经验上 LR 要随规模下降，具体曲线靠试）
μP 方案：对权重初始化、LR、乘性/加性更新分别做与宽度相关的缩放，
使得"每一步更新对输出的影响"在不同宽度下保持同一量级
→ 小模型调参结果可迁移到大模型（"zero-shot hyperparameter transfer"）
代价：μP 下 embedding 与输出层的 LR 缩放不同，实现略复杂；
主流框架（如部分训练栈）已内置支持μP 的意义在于把"规模法则"从性能预测延伸到训练配置预测：工程师可以在小规模上低成本地调好整套训练配置，再放心放量。
下游能力随规模上升的实证
除了验证损失，业界也在持续测量"能力-规模"曲线：BIG-bench 的 200+ 任务显示多数任务的"及格概率"随模型增大稳步上升，而少数任务呈现先随机后跳变（涌现）的形态；MMLU（57 个学科多项选择）与 GSM8K（小学数学题）在 GPT-3 时代基本随规模平滑上升，为"损失下降会转化为能力提升"提供了直接证据。实用含义：对大多数任务，损失曲线是能力曲线的一个可靠代理；对少数"涌现型"任务，则必须直接测能力（评估方法见评测与基准）。
七、权衡与边界
- 收益递减：幂律意味着规模翻倍的边际收益逐步收窄，超大规模训练的 ROI 需结合具体业务评估。
- 数据终会耗尽：高质量文本数据的总量有限，当曲线受数据制约，涌现式收益可能放缓——这也是合成数据、多模态数据受关注的原因。
- 损失与能力脱节：验证损失不是产品指标；规模法则回答"训练多好"，不回答"产品多强"。
- 架构会平移曲线：MoE、更好的数据、新的注意力机制都能让整条曲线左移——规模法则衡量"同一技术路线内的扩展"，而非跨代际比较。
- 幂律不承诺"无限扩展"：数据分布与架构都有天花板，超出曲线拟合区间后外推会失真；把曲线的有效区间写进预算文档，避免把外推当承诺。
- 规模之外还有"配比"维度：数据质量、训练时长、上下文长度、推理时计算同样可以"扩展"——真正的优化是在所有维度上找边际收益最高的那一个。
三个高频疑问
- "是不是只有大厂才用得上？" 不是：用开源小模型 + 幂律外推做预算、用推理时扩展做增强，小团队同样可以系统化地"扩展"。
- "1:20 必须严格执行吗？" 不必：它是训练计算最优的近似，推理预算、数据质量、MoE 都会平移它（见MoE 稀疏专家模型）。
- "损失没降就代表没扩展？" 不一定：损失是总平均，能力是任务相关，某些任务可能先涌现。
一句话总结
规模法则把"大"从口号变成曲线：损失 ≈ 幂律 × (参数、数据、计算)，最优配比约 1:20，涌现是度量与能力交织的现象，推理时扩展是新维度。读懂它，才能在"堆规模"之前先算清账。
延伸阅读
- 预训练：数据与目标——幂律的另一端：数据工程
- Transformer 架构详解——扩展的对象：架构本身
- 评测与基准——损失与下游能力的桥梁
- 上下文与长文本——扩展的另一维度：上下文长度
- 经典论文精读——Scaling Laws 与 Chinchilla 的全文导读
- 前沿进展——推理时扩展与 2024-2025 的规模叙事演进
参考资料
- Kaplan et al. Scaling Laws for Neural Language Models（2020） —— 幂律的奠基论文
- Hoffmann et al. Training Compute-Optimal Large Language Models（Chinchilla, 2022） —— 1:20 计算最优配比
- Wei et al. Emergent Abilities of Large Language Models（2022） —— 涌现能力论题
- Schaeffer et al. Are Emergent Abilities of Large Language Models a Mirage?（2023） —— 涌现的度量之争
- Srivastava et al. Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models（BIG-bench, 2022） —— 规模-能力关系的系统测量
- Yang et al. Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer（2022） —— μP 超参数迁移
- Meta AI. Introducing Meta Llama 3（2024） —— 过训练策略的行业案例