emergent ability

🧠 emergent ability 是什么

涌现能力(emergent ability)指当模型规模增大到某个临界点后,某些任务的表现从近乎随机突然跃升到高水平,而小模型完全无法完成。典型例子包括多步数学推理、指令跟随与代码生成等能力随规模非线性爆发。

2022 年的论文《Emergent Abilities of Large Language Models》系统梳理了该现象,提出能力涌现与任务类型、规模及评测方法相关;但也有研究者指出,"涌现"可能部分来自二值化评测指标的假象——改用连续指标后,能力曲线其实平滑。

无论争议如何,"规模带来质变"的直觉深刻影响了行业决策:它和规模定律一起,支撑了各实验室持续扩大训练规模的战略。

🔥 为什么现在火

每次新模型发布,"又涌现了哪些新能力"都会成为传播热点;同时"涌现是否真实存在"的学术争论持续发酵,引发对评测科学的反思。

📄 证据链(交叉验证)

• ▸arXiv 论文《Emergent Abilities of Large Language Models》

🔍 搜索形态

what is emergent ability emergent ability of LLMs