AI写作从"连续流动"中诞生，连续扩散终于能与离散扩散一较高下

LangFlow：连续扩散语言模型，这次真的行了

这项由美国伊利诺伊大学厄巴纳-香槟分校（UIUC）研究团队完成的工作，已于2026年4月以预印本形式发布，论文编号为arXiv:2604.11748。对技术细节感兴趣的读者，可以通过该编号在arXiv平台上查阅完整论文。

文字生成的“另一条路”，为何走得磕磕绊绊？

在AI文字生成领域，过去几年的焦点无疑是“扩散模型”。这套方法在图像生成上取得了巨大成功，其思路颇为巧妙：先给图像加入噪音使其模糊，再一步步去除噪音，“雕刻”出清晰的画面。Stable Diffusion、DALL-E等明星产品都基于此。然而，当研究者试图将这套优雅的逻辑照搬到文字生成时，却遭遇了意想不到的阻碍。

问题的根源在于数据形式的根本差异。图像的像素值是连续的，可以有无限种颜色过渡；而文字是离散的，每个词元（token）只能是词汇表中的一个确定选项，非此即彼，不存在中间状态。这种离散性，让基于连续变化的经典扩散思路在文字上直接“水土不服”。

于是，研究社区分道扬镳。一派选择直面离散性，在离散空间直接建模跳变过程，即“离散扩散”，代表模型有MDLM、SEDD。另一派则坚持连续操作，试图先将文字映射到一个连续的数值空间（即“嵌入空间”），再在那里进行扩散，这便是“连续扩散”或“嵌入空间扩散”。长期以来，离散扩散在效果上遥遥领先，而理论上更灵活的连续扩散，却始终表现平平，像一只跛脚的鸭子。

如今，来自伊利诺伊大学的这项研究，提出了名为LangFlow的框架，首次让连续扩散模型真正追平、甚至在某些任务上超越了离散扩散的水平。研究团队像一位经验丰富的机械师，将前人模型拆解开来，精准定位了三个关键的设计失误，并逐一修复，最终让这只鸭子重新展翅飞翔。

一、嵌入空间扩散：一个被低估的赛道

要理解这项突破，首先得弄明白“嵌入空间”是什么。

简单来说，每个单词在模型内部都被转换为一串数字向量，例如“猫”可能对应一个768维的坐标。这串数字编码了词的语义，意思相近的词，其向量在空间中也彼此靠近。这个所有词向量构成的高维数字世界，就是嵌入空间。

嵌入空间扩散的路线图是这样的：先将文字转换成数字向量，然后在这个连续空间里进行加噪和去噪，最后将“净化”后的向量转换回文字。这条路有几个天然优势：空间连续，便于应用图像领域的成熟技巧；生成过程易于干预和编辑，可控性更强。

然而，理想丰满，现实骨感。此前的研究在这条路上走得并不顺利。一方面，训练目标的设计要么过于随意，要么复杂到令人头疼——例如Plaid模型，其训练过程需要动态切分数据批次并优化多个损失函数，工程实现堪称噩梦。另一方面，更致命的问题是缺乏可靠的评估“标尺”。语言模型的核心评估指标是困惑度（PPL），数值越低越好。但之前的连续扩散模型只能用随机方法（SDE）来估算PPL，结果既不精确也难以复现，导致模型改进如同“盲人摸象”，方向难辨。

正是在这种背景下，UIUC的团队决定从头审视这条技术路径，试图从根基上解决这些问题。

二、重建理论地基：“流匹配”与“布雷格曼散度”的联姻

团队做的第一件事，是为嵌入空间扩散搭建更坚实的数学基础，突破口在于将其与“流匹配”理论联系起来。

流匹配是一种较新的生成建模思想。你可以把它想象成学习一个“风向风速场”：让数据粒子从随机噪音出发，沿着这个预设的场稳定“流动”，最终抵达真实数据分布。整个过程是确定性的，路径清晰可预测。

研究团队发现，嵌入空间扩散在数学本质上与流匹配是等价的——这一点此前未被明确揭示。更进一步，他们将模型常用的训练目标（交叉熵损失）与一个叫做“布雷格曼散度”的数学概念建立了联系。

布雷格曼散度是衡量概率分布差异的工具，而交叉熵恰好是它的一个特例。这一联系意义重大：它证明，使用交叉熵训练嵌入空间扩散模型，并非经验之谈，而是数学上的最优选择。在给定噪音状态下，模型的预测会收敛到对真实词分布的最佳估计。

这就好比一位工匠凭借手感打磨器物多年，后来被证明其手法恰好符合最精密的力学原理。有了理论背书，团队还顺势推导出一个关键新工具：基于常微分方程（ODE）的负对数似然上界。这把“新标尺”用于估算困惑度，结果确定且可复现，终于让研究者能清晰、公平地评估模型性能，并与离散扩散进行横向比较。

三、噪音安排的学问：为什么不能照搬图像生成的方案？

理论基础夯实后，团队开始审视第一个工程关键点：噪音调度。

扩散模型通过逐步加噪和去噪来工作。噪音调度，就是规划噪音如何随时间步添加和移除的“时间表”。在图像生成领域，流行的做法是在时间步上均匀分配噪音。团队起初也沿用此方案，但绘制出的损失曲线揭示了一个惊人事实。

他们发现，在噪音水平较低的大部分时间段（时间步t在0.2到1.0之间），模型的预测损失几乎为零。这意味着，模型在这些阶段早已“猜出”答案，学习过程缺乏挑战。然而，均匀的时间分配却将超过一半的训练资源浪费在了这个“舒适区”。

这就像一个训练计划，让运动员花大量时间重复已掌握的基础动作，却只留很少时间攻克高难度技术，效率低下可想而知。根源在于文字与图片的数据特性不同。图片像素值连续，即使加了噪音也难猜原值；但文字目标明确，是有限的离散词元，模型常能凭借语义线索在嘈杂中锁定答案。

为此，团队引入了两项改进。首先，他们将时间编码从普通时间步t，切换为“对数噪信比”γ。γ的妙处在于，它能将高噪音端指数级变化的噪信比，转换为线性移动，从而把原本压缩的“困难区域”拉伸开来，让模型能更精细地聚焦于有挑战的噪音水平。

第二个改进更具洞察力，即提出“信息均匀原则”。扩散过程本质是消除不确定性的过程，每一步都获取信息。信息均匀原则主张：让每一步采样（训练或生成）获得的信息量尽可能相等。直觉上，这就像爬山应在最陡处多用劲。

那么，语言数据的信息增益集中在哪？大量实验表明，γ值的信息导数分布呈现正偏态，且其形状与统计学中描述极值事件的“冈贝尔分布”高度吻合。团队并未固定该分布的参数，而是让模型在训练中自行学习调整。这套自适应的冈贝尔噪音调度器，效果立竿见影，将LangFlow的生成困惑度从约1000直接降至154.2。

四、自我条件化：一个被长期误解的技巧

第二个关键设计点是“自我条件化”。

这是一个在扩散模型中流行的小技巧：模型在每一步去噪时，不仅查看当前噪音状态，还将上一步自己的预测结果作为额外参考。这好比侦探破案时，不仅分析新线索，还时时回顾自己整理的案情笔记。

在离散扩散研究中，自我条件化像个“双刃剑”：它能提升生成质量，却会轻微损害模型对数据的拟合能力。因此，评估时通常会关闭它以确保公平。

然而，团队发现，这个惯例被不加思考地套用到了连续扩散的评估中，这是一个严重误区。对比实验数据说明了一切：在LangFlow上，开启自我条件化后，PPL从49.0降至30.0，生成困惑度从154.2降至81.5，提升显著。而在离散扩散模型MDLM上，开启后PPL反而微升了1.7。

这种不对称性揭示了深层差异：在离散扩散中，自我条件化可能提供了过多“捷径”，导致模型过度依赖历史预测；而在连续扩散中，它帮助模型在连续的嵌入空间中更好地校准方向，实现了双赢。

一个追踪特定词（如“run”）预测概率的实验进一步揭示了机理。没有自我条件化时，随着噪音增大，模型的预测会从“run”漂移到近义词“go”，再到高频功能词“is”、“the”，即发生了“语义遗忘”。自我条件化则有效帮助模型保持了语义记忆。

这个发现的实践意义很明确：评估连续扩散语言模型，必须在开启自我条件化的状态下进行，否则看到的是一个被人为削弱的能力。

五、最终成绩单：连续扩散首次进入主流竞争

整合所有改进后，LangFlow在标准基准测试上交出了一份令人信服的成绩单。

在LM1B数据集上，LangFlow的PPL达到30.0，与最好的离散扩散模型MDLM（31.0）持平；其生成困惑度为92.2，在连续扩散方法中排名第二。在更具多样性的OpenWebText数据集上，LangFlow的PPL为24.6，生成困惑度低至36.5，这个生成困惑度成绩在所有扩散模型中排名第一，比之前最好的连续扩散方法提升了41个点。

更具说服力的是零样本迁移测试。将在OpenWebText上训练的模型，直接用于七个未见过的文本领域（新闻、学术论文等）进行评估。LangFlow在其中四个领域上超越了经典的自回归Transformer模型，同时在三个领域上超越了顶尖的离散扩散模型MDLM。连续扩散模型在多项任务上击败自回归Transformer，这在历史上尚属首次。

团队还与另一个连续扩散基线模型Plaid进行了对比，发现了一个重要技术警示。Plaid使用均方误差（MSE）而非交叉熵作为主要训练目标。可视化分析显示，Plaid的词嵌入出现了严重的“坍缩”——不同词的向量挤在一起难以区分。这严重限制了模型表达能力，解释了为何Plaid在零样本迁移任务上表现不佳。

在采样效率方面，LangFlow在128步、64步、32步、16步下的生成困惑度逐步上升，但在未经专门“蒸馏”优化的情况下，表现仍具鲁棒性，为未来的加速优化留下了空间。

说到底，LangFlow的意义远不止刷新几个指标。它更重要的贡献在于，为连续扩散语言模型建立了一套清晰的理论框架与工程规范。过去这个领域方法各异，评估混乱，难以积累进步。LangFlow相当于设立了一套“行业标准”：基于布雷格曼散度的交叉熵训练、ODE路径估算PPL、冈贝尔分布噪音调度、开启自我条件化评估。

有了这套标准，后续研究便有了更高的起点。连续扩散的独特潜力——如“轨迹编辑”实现可控生成、与流匹配蒸馏结合实现极速生成、利用嵌入空间进行语义干预——这些离散扩散难以实现的方向，现在终于可以系统地探索了。

当然，研究团队也指出了当前局限：LangFlow生成文本的多样性略低于某些基线，倾向于重复使用某些内容词。不过，这种重复是分散在全文中的，阅读体验上无明显下降。这种频率偏向在更大规模应用中可能产生的影响，是一个有待未来研究的开放问题。

归根结底，这项研究证明了连续扩散与离散扩散并非简单的替代关系，而是可以互补的两种工具。离散扩散简洁精准，连续扩散灵活可塑。LangFlow让连续扩散第一次站上了同一起跑线，真正的竞赛，现在才刚刚开始。

Q&A

Q1：LangFlow和现在常见的ChatGPT这类语言模型有什么区别？

A：ChatGPT属于自回归语言模型，生成文字时像写字一样逐词顺序进行。LangFlow属于扩散模型，从一团噪音出发，并行地对整段文字反复“雕刻”直至清晰。自回归模型目前效果仍有优势，但扩散模型在生成过程的可控性和编辑灵活性上具备独特潜力。

Q2：LangFlow中提到的困惑度（PPL）到底是什么，数值越低越好吗？

A：困惑度是衡量语言模型对语言把握程度的指标。直观理解是，模型预测下一个词时，平均需要在多少个候选词中做选择。这个数值越小，说明模型越准确、越确定。因此，困惑度数值越低越好。LangFlow在LM1B数据集上达到30.0，已与最佳离散扩散模型持平。

Q3：LangFlow中的冈贝尔分布噪音调度是什么意思，为什么选它？

A：冈贝尔分布是一种常用于描述极端值统计规律的概率分布。研究团队发现，语言数据在不同噪音水平下的“信息增益”分布曲线，恰好符合冈贝尔分布的形状——大部分有价值的信息集中在一个特定区间。采用冈贝尔分布来安排噪音采样，能让模型把训练资源集中在最“困难且有价值”的噪音水平上，从而大幅提升训练效率。