大模型「撞墙」如何破？Thinking Machines首席科学家翁荔重校规模法则

据动察 Beating 监测，Thinking Machines联合创始人兼首席科学家翁荔（Lilian Weng）发表长文，对支撑AI行业扩张的「规模法则」（Scaling Laws）进行了系统性重校。在业界普遍质疑大模型因网页数据耗尽而「撞墙」的背景下，翁荔指出，规模法则并未失效，但传统的粗放型算力堆叠已走入死胡同，必须转向对数据受限、重复训练以及过拟合惩罚的精细化建模。在大模型研发早期，行业已从单纯堆参数的 Kaplan 定律，演进到主张参数与数据同比例增加的 Chinchilla 定律。面对高质量网页数据即将耗尽的「数据墙」，近年研究转向数据受限场景：Muennighoff 等人指出重复训练的数据价值呈指数级衰减；Lovelace 等人则在 2026 年量化了模型参数量与独创数据量之比（$N/U_D$）带来的显式过拟合惩罚，并证实增强权重衰减等正则手段可有效抑制重复训练的损害。翁荔进一步指出，规模法则并非一成不变的物理定律，而是对工程细节高度敏感的观测指南。Kaplan 与 Chinchilla 的估算偏差，本质上源于是否计入嵌入层参数以及小模型外推的指数敏感性。在动辄数亿美元的超级训练中，参数统计口径或优化器设置的微调都会引发预测失准。因此，大模型研发不能迷信单一的理论公式，而必须在工程实践中严密拟合自身的损耗曲线，精确计算参数量与独创数据的容量比，用严谨的系统工程打破「数据墙」。