何恺明团队ELF：语言扩散模型终于跑通

据动察 Beating 监测，MIT 何恺明团队发布语言扩散模型 ELF（Embedded Language Flows）。它没有沿用 GPT 式的自回归「预测下一个 token」路线，而是把文本生成放进连续 embedding 空间里完成，直到最后一步才转换回离散 token。扩散模型在图像生成里已经成熟，但放到文本上一直很别扭：图像天然是连续信号，语言却由离散 token 组成。此前不少连续扩散文本模型，要么在生成轨迹中反复引入 token 级监督，要么需要额外独立解码器。ELF 的做法更干净：大部分步骤只在连续向量空间里去噪，最终一步再用共享权重网络完成离散化。实验结果也有冲击力。在 OpenWebText 无条件生成评测中，105M 参数的 ELF-B 用 32 步采样达到约 24.1 的 Gen. PPL，优于多种离散和连续扩散语言模型基线。更关键的是，ELF-B 只用了约 45B 训练 token，而对比方法通常超过 500B，训练 token 少了约一个数量级。这个结果至少说明，连续扩散路线在语言建模里并没有被「语言离散性」堵死，之前的问题更可能出在建模接口和采样设计上。