大模型下个范式：文本生成先写提纲，速度能快31倍

机器之心·2026年10月15日 18:49

这才像人类？

如今的大模型再聪明，输出内容也是一个字一个字往外蹦。有没有一种可能：真正的 AGI 不是这样？

近日，斯坦福大学与 Together AI 的研究者提出了一种既不同于自回归，也不同于扩散的第三种文本生成范式。他们把 NeurIPS 2024 最佳论文 VAR 在图像上的「下一尺度预测」配方搬进文本，让模型先并行写出几句话的「概念大纲」，再逐层并行填充细节，直到还原成完整文字。

于是新模型就叫 Next-Concept Modeling（NCM，下一概念建模），对主流 Next-Token Modeling（下一 token 建模）来了个正面叫板。

在若干实验中，NCM 以相近或更好的质量，实现了相对扩散语言模型 10—31 倍的生成速度。

论文：《Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation》

论文链接：https://arxiv.org/abs/2610.14162

GitHub：https://github.com/HazyResearch/ncm

我们知道，目前主流的大语言模型即自回归模型（包括不限于 GPT、Claude、DeepSeek），通常根据已有内容预测下一个 token，后续输出依赖前面的结果。近两年逐渐热门的扩散语言模型则可以同时处理多个位置，通过反复去噪逐步生成文本。但并行不意味着只需一步：迭代次数减少则质量可能下降，每轮处理整段序列也会带来更多开销。

NCM 的思路是连同「每一步到底生成什么」一起改变。它借鉴了图像生成中的 next-scale prediction，画面可以先生成低分辨率版本，再逐级增加细节。既然文本可以扩散生成，文本是否也能拥有自己的「缩略图」呢？

图片来自 NeuralPS 2024 Best Paper《Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction》。

难点在于这是两个维度的事：图片缩小后通常还能看出主体，一句话删掉几个字就可能完全变了意思。因此，我们需要让模型自己学会一种既概括、又适合继续细化的表示。NCM 为此设计了两个训练阶段。

首先是训练一个多尺度残差 VQ-VAE。我们可以把它理解为一套文本编码与还原系统：将原文转换成多层离散编码，前面的编码较少，后面的编码更多，每层继续补充此前尚未表达的信息。为了防止粗层「偷懒」，训练时会随机截去后面的细层，要求系统仅靠留下的部分尽量还原原文。这样，模型就需要学会让前面的层也必须承载有用的信息。

随后再冻结这套系统，训练 Transformer 根据此前各层累积的表示预测下一层。生成时，模型逐层推进，同一层的编码同时预测，最终由解码器还原成文本。

那么模型的效果如何呢？论文中展示了德译英翻译的示例，NCM 是先把中间层解码出来，早期输出还夹杂重复和不完整表达，随着层级推进，内容逐渐明确，最后第十一步形成通顺的译文。这种思路是不是更接近于真人翻译呢？

另外 NCM 还有一个特点就是快，一方面，需要依次执行的生成轮数减少了，另一方面，早期只处理较短的编码序列，每轮的平均开销也有下降空间。

作者在单块 H100 SXM 80GB 上测试，LM1B 无条件生成比强扩散基线快约 21 倍，生成困惑度更好；OpenWebText 上质量有竞争力，速度约为 10 倍；XSum 摘要任务中，在 ROUGE-L 相当的情况下，速度约为 31 倍。训练成本上，两个数据集分别少用 4.9 倍和 4 倍的 token，而对比对象 DUO、MDLM 在 OpenWebText 上要跑 100 万步、处理超过 5000 亿个 token。