scaling law
概念词 📚 基础词库 · 存量热词规模定律
🔍 Google 联想 10 📄 arxiv 6928 篇 📅 首次出现 2026-08-28
🧠 scaling law 是什么
规模定律(neural scaling law)指模型性能随参数量、训练数据量与计算量按幂律关系平滑、可预测地提升。2020 年 OpenAI 论文《Scaling Laws for Neural Language Models》系统总结了这一规律并给出三者间的权衡曲线,让"投入多少算力能换来多少性能"变得可计算。
2022 年 DeepMind 的 Chinchilla 研究进一步指出多数模型"参数过多、数据过少",最优策略是同步扩大数据量,奠定了"数据与参数等比例扩展"的行业共识。
2024 年后,推理时计算(inference-time compute)成为新的扩展维度,规模定律的内涵正从"训练规模"扩展到"训练+推理"的复合规模;同时"数据墙"与"算力天花板"的争论让该定律的边界成为学界焦点。
🔥 为什么现在火
规模定律直接解释了各实验室为何疯狂扩建数据中心与采购 GPU,是"越大越好"叙事的数据依据;每当新旗舰发布,规模曲线都会成为媒体解读焦点。
📄 证据链(交叉验证)
🔍 搜索形态
what is scaling law scaling law AI
scaling law 常见问题 FAQ
规模定律是物理定律吗?+
不是,它是经验统计规律,依赖数据质量、架构与训练方法,遇到数据枯竭或架构瓶颈就会失效。
Chinchilla 定律讲的是什么?+
DeepMind 2022 年提出的最优配比:模型参数量与训练 token 数应接近等比例扩展,数据量不足才是当时多数模型的瓶颈。
与 scaling law 相关的搜索
人们搜索 scaling law 时,还会关心这些问题:
- 规模定律 是什么
- 什么是 规模定律
- 规模定律 是什么意思
- 规模定律 原理
- 规模定律 有什么用
- 规模定律 应用场景
- 规模定律 为什么火
- 规模定律 2026