北京大学与腾讯混元联手破解AI图像生成的"两阶段诅咒"

这项由北京大学与腾讯混元联合开展的研究发表于2026年6月，论文编号为arXiv:2606.32039。对技术细节着迷的读者，拿这个编号去搜，能找到完整论文。

**研究背景：一道横亘在AI图像生成领域的"隐形墙"**

AI生成图像这件事上，几乎所有现有技术方案都遵循一套相同的工作流程，而这几步流程内部，藏着一个长期被忽视的根本矛盾。

用厨房里的比喻来说，现有方案就像是请了两位完全独立工作的厨师：第一位厨师（称为"分词器"，Tokenizer）负责把食材预处理好，把整只鸡剁成标准尺寸的鸡块，然后冻进冰箱；等第一位厨师下班之后，第二位厨师（称为"生成器"，Generator）才出现，打开冰箱，用那些固定好的鸡块做菜。问题在于，第一位厨师从来不知道第二位厨师擅长做什么菜、喜欢什么样的切法，他只是按照自己理解的"标准切块"来处理食材。

这个比喻对应的真实技术场景是这样的：训练AI图像生成模型时，研究者首先单独训练一个编码器（分词器），让它学会把图片压缩成一堆数字代码或者离散的"图片词汇"，这个过程的唯一目标是让压缩后的结果尽可能还原原始图片。完成这一步之后，编码器被"冻结"——不再学习、不再改变，就像那些已经切好冻在冰箱里的鸡块。之后训练的生成模型只能对着这些固定好的代码学习如何生成新图片，却完全无法反过来告诉编码器"你这样切其实很难用"。

这种割裂造成的后果是真实存在的：编码器追求的是"高保真还原"，倾向于保留图片里丰富的细节和变化；而生成模型追求的是"规律性和可预测性"，希望面对的是结构清晰、容易学习的数据分布。这两个目标天然存在矛盾，却从来没有机会协商。

北京大学与腾讯混元的研究团队把这个问题看作了突破口，提出了名为GEAR（**G**uided **E**nd-to-end **A**uto**R**egression，引导式端到端自回归）的全新框架，让两位"厨师"在同一个厨房里协同工作。

**一、为什么这个问题比想象中更难解决**

也许你会问：两个模型一起训练不就行了吗？把"图片词汇化"和"图片生成"放在同一个训练流程里，让它们互相磨合，难道不是顺理成章的事？

实际上，正是因为有一个看似微不足道的技术细节，使得这件事极其困难。

当前最主流的自回归（AR）式图像生成模型——可以把它理解成"逐字写作"的方式，一个词一个词地生成图片——它使用的图片词汇是离散的整数索引，就像字典里的词条编号。编码器处理一张图片，得到一堆位置，每个位置要从一个庞大的词典里找到最相近的那个词，记录下它的编号。这个"找最近的词"的操作，在数学上叫做"取最大值"（argmax），而这个操作有一个致命的特性：它没有梯度。

梯度是神经网络学习的信使。生成模型生成了一张不那么理想的图，这个"不太好"的信号需要沿着计算路径一路往回传递，告诉每一个环节"你需要怎么调整"。但当信号走到那个"取最大值"操作时，它就像碰到了一堵墙——无法穿越，无法继续往前传递给编码器。换句话说，生成模型的"意见"永远无法到达编码器，编码器无从得知自己的切块方式有多"难用"。

有人提出过一种权宜之计，叫做"直通估计器"（Straight-Through Estimator，STE），它的思路是在梯度计算时假装那堵墙不存在，强行把信号传过去。但在这项研究的实验中，这个方法彻底崩溃了：一旦生成模型的训练损失信号被强行传回给编码器，编码器就会走捷径——既然目标是让生成结果更好预测，那最简单的办法就是把所有图片都映射到少数几个词汇上，这样生成模型当然很容易预测下一个词。然而代价是，图片细节全部丢失，还原质量急剧下降。研究者用一个量化指标（gFID，越低越好）来衡量生成质量，走这条路的结果是gFID高达104.9——这意味着生成的图片几乎毫无意义。

这就是GEAR需要攻克的核心难题：如何在离散的"词汇化"壁障两侧，建立一条真实有效、不会引发崩溃的信息通道。

**二、GEAR的核心创意：双轨并行，各司其职**

解决这个难题的关键洞察，来自一个精巧的拆分思路：把同一个编码结果同时读成两种形态，各自承担不同的任务。

依然用厨房比喻来说明：第一位厨师处理完食材之后，不再只是冻进冰箱了。相反，他现在准备了两份食材——一份是标准切块，包装好放进冰箱，第二位厨师做菜时直接拿这份；另一份则是"模糊切块"，没有按照绝对精确的标准来，而是保留了一些可以微调的余地，专门用来让第一位厨师知道"这种切法做出的菜好不好"。

技术层面上，GEAR的做法是这样的。编码器处理完图片之后，会得到一个"距离矩阵"，描述每个位置的特征与词典里每个词汇之间的距离关系。从这个矩阵里，研究者同时生成两种读取方式：硬读取（Hard Branch）是完全精确的，选出距离最近的那个词汇的编号，就像真正使用时一样，这一路的信号只用来训练生成模型；软读取（Soft Branch）是用一种叫做"温度加权"的方式，对词典里靠近的多个词汇做一个平滑的混合，使得结果是连续可微的，从而让梯度信号可以流通，这一路的信号则被用来引导编码器。

这样设计的精妙之处在于，软读取路径上流通的不是"生成损失"（预测下一个词的准确率），而是另一种性质截然不同的信号——表征对齐损失（REPA Loss）。这个信号的来源是一个冻结的外部视觉模型DINOv2，它是一个已经被证明能理解图像语义结构的"参考标准"。训练时，系统计算生成模型中间层的特征与DINOv2提取的特征之间的相似度，尽量让两者更接近。这个"接近DINOv2"的信号通过软读取路径流回编码器，告诉它："请把你的词汇映射方式调整成让我更容易学习DINOv2那样的表示形式。"

至于对生成模型极度有害的预测损失，它只走硬读取路径，永远不会流回到编码器。这就彻底断绝了编码器"走捷径、词汇崩溃"的诱惑。

**三、训练流程的精确设计：两套参数，两条更新通道**

理解了核心思路之后，再来看GEAR的完整训练步骤就会非常清晰。

每一步训练开始时，一张图片和对应的条件信息（比如类别标签或文字描述）同时进入系统。编码器先把图片处理成一组位置特征，然后和词典比对，得到距离矩阵。由此产生两套向量：硬路径的词嵌入和软路径的温度加权词嵌入。这两套向量分别进入生成模型的Transformer结构，硬路径走完全部层，软路径只走到预设的对齐深度就截止。在这个截止层，两条路径的中间特征都与DINOv2的特征计算对齐损失；硬路径还额外计算预测下一个词的损失。

更新时，编码器只接受来自编码损失（还原图片质量）和软路径对齐损失的更新信号；生成模型只接受来自预测损失和硬路径对齐损失的更新信号。两套参数互不干扰，责任边界清晰。

整个过程从一个经过预热的编码器出发（这个预热阶段主要是为了补全公开模型中缺失的对抗训练判别器），在此基础上进行端到端的联合微调。

研究团队为这个对齐过程设置了两个关键超参数：软读取的温度τ和对齐系数λ。温度越低，软读取越接近硬读取，梯度信号越弱；温度越高，软硬差距越大，引导信号越强但稳定性下降。经过系统的消融实验，研究团队确定了τ=0.1、λ=0.5作为默认配置，在生成质量与重建质量之间取得最佳平衡。

**四、实验结果：快了多少、好了多少**

研究团队在图像生成领域的标准测试场景——ImageNet 256×256分辨率的类别条件图像生成任务——上进行了系统评估，结果相当明显。

最直观的数据来自训练效率对比。在不使用任何额外推理技巧的情况下，衡量生成图片与真实图片相似度的核心指标gFID，GEAR在训练50万步时就已经达到了基线方法LlamaGen-REPA在500万步时才能达到的水平。换一种说法：完成同样的训练目标，GEAR花费的时间只有基线的十分之一。在文字到图片的生成任务上，GEAR在完成同样的REPA对齐损失目标时快了11.1倍，在预测损失目标上快了2.5倍。

在最终生成质量上，研究对三种规模的模型（1.11亿参数的Base、3.43亿参数的Large、7.75亿参数的XLarge）都进行了对比。以训练300个完整周期后的结果为例，不使用推理引导时，三种规模的gFID分别从20.16、12.70、8.20降低到16.96、8.66、6.76；使用推理引导后，分别从6.00、3.15、2.68降低到4.95、2.95、2.52。每一个规模、每一种设置下，GEAR都优于基线。

值得注意的是，提升的来源被研究团队用一个精巧的实验设计完全隔离出来了：在主要对比实验中，两种方案使用完全相同的生成模型架构和训练计算量，唯一的区别是编码器是否经历了端到端联合训练。由此可以确认，所有的提升都来自编码器质量的改变，而不是模型规模或训练时间的差异。

这项技术的适用范围也经过了验证。研究团队在三种不同的量化方案上都测试了GEAR：传统的VQVAE、频域量化LFQ和索引反向传播量化IBQ，三种方案下gFID分别改善了4个、近4个和超过7个点。这说明GEAR的引导机制并不依赖某种特定的量化方式，而是具有普遍适用性。

在文字到图片生成任务上，研究团队使用了一个包含1亿张图片的大型语料库GPIC进行验证。同样训练一个完整周期后，GEAR在各阶段的评估中都稳定优于基线，在最终评估时将关键指标FDD（在DINOv2特征空间中的分布距离，越低越好）从127.9降低到115.3。

**五、深挖根源：编码器到底在内部发生了什么变化**

数字上的改善是表象，更有意思的是：GEAR的引导究竟让编码器发生了什么内部变化？

研究团队用两个维度来分析这个问题：编码器自身的特征与DINOv2的相似度，以及编码词汇的使用分布。

关于相似度，结果出乎意料。在扩散模型领域，"让编码器更接近DINOv2"是被普遍认可的改进方向；REPA-E、VA-VAE等工作都以此为目标，让连续潜在特征变得更语义化。但GEAR的编码器在经过端到端训练之后，反而在图像级别和图块级别上都变得与DINOv2更不相似了——图块级别的相似度下降尤其明显，CKA相似度从0.173降到了0.107。

这种下降并不意味着编码器质量变差了，图片还原质量在实验中被证实保持甚至略有改善。真正的变化发生在词汇使用分布上。研究团队跟踪了整个联合微调过程中，词汇表的使用熵（entropy，越低说明词汇分布越集中）和有效词汇数量（越低说明常用词汇越集中）。结果显示，训练开始后词汇分布迅速变得更集中，在约3万步时达到最高集中度，然后有所放松，在约12万步后收敛到一个比初始状态更集中、熵更低的稳定状态。

这种现象的含义是：编码器在AR模型的引导下，把词汇分配调整成了一种对自回归预测更友好的结构——同一个场景里相邻的图块更倾向于映射到相近的词汇，这种局部一致性正是让"预测下一个词"变得更容易的关键。但与STE路径引发的崩溃不同，这种集中度只是适度的结构化，而不是极端退化成几个词汇包揽一切。

与此相对，生成模型内部的变化正好是编码器的镜像。研究团队测量了生成模型每一层隐藏状态与DINOv2特征的相似度，分别从整张图片层面（全局语义）和单个图块层面（局部细节）来看。在全局语义层面，GEAR和基线方法的表现几乎没有差别，两者都通过显式的对齐训练达到了与DINOv2相近的全局理解。但在图块层面，GEAR明显更接近DINOv2，这一优势在中深层网络中持续存在。

除此之外，研究团队还测量了一个叫做Moran's I的空间自相关指数，以及图像特征的高频分量比例。GEAR的生成模型在这两个指标上都更接近DINOv2的参考值，说明端到端训练赋予了生成模型更强的局部空间一致性——相邻的图块之间有更自然的关联，这正是DINOv2作为一个理解真实图像的模型所具备的特质，也是自回归生成模型真正需要的能力。

归纳起来，GEAR完成的是一种"职责转移"：原本在扩散模型体系里，是编码器自身需要变得更语义化；在GEAR体系里，编码器变得更"可预测"（词汇分布更结构化），语义对齐的任务则交给了生成模型来完成。两条路通向同一个目的地，只是分工不同。

**六、消融实验：每一个设计选择都有其理由**

研究团队对GEAR的每一个设计细节都进行了独立验证。

软路径对比STE的实验结果已经非常明确：STE导致gFID崩溃至104.9，软路径维持在10.63。去掉对抗训练损失的影响也被单独测试：没有对抗训练时，图片还原rFID从1.64跳升至5.86，生成gFID从10.63恶化至16.35，说明对抗训练对于联合训练中的编码器质量至关重要。

温度参数τ的扫描显示，过高的温度（如0.5）软路径与硬路径差异过大，生成质量最好但还原质量下降；过低的温度（如0.01）两路几乎一致，引导信号太弱，生成质量明显下降。0.1是两全其美的折中点。

对齐系数λ的实验显示，0.5是最优值。太小（0.25）则引导力度不足；太大（1.0）则过度正则化，生成和还原质量都受损。

对齐目标的选择也经过了验证，分别测试了DINOv2、DINOv3、SigLIPv2和V-JEPA2.1四种预训练视觉编码器。GEAR在所有这四种目标下都带来了显著的生成质量改善，只是幅度有所不同，DINOv2带来的改善最为明显，成为默认选择。

对于应在生成模型的第几层进行对齐，测试了第6、8、10层，结果显示第8层表现最佳。这与LlamaGen-REPA的发现一致——对齐深度应在模型总深度的三分之一左右。

初始化实验则回答了一个实际问题：GEAR必须从一个预训练的编码器开始吗？答案是：不是必须的，但有很大帮助。从预热编码器开始训练的完整GEAR方案（gFID 10.63）显著优于从随机初始化开始的版本（gFID 13.44），但后者仍然优于使用冻结预训练编码器的基线方法（gFID 14.72）。

最后，分辨率泛化实验覆盖了256、384和512三个生成分辨率，GEAR在所有分辨率下均优于基线，证明这套机制不局限于某个特定的图像尺寸。

**七、局限性与未来展望：诚实面对天花板**

研究团队在论文中坦诚地讨论了GEAR当前的局限性，这种诚实态度值得关注。

最根本的瓶颈来自于离散量化本身。GEAR的图片还原rFID是1.64，而同期最强的端到端扩散模型REPA-E的连续VAE还原rFID是0.28——足足相差了近6倍。还原质量的上限直接制约了生成质量的上限，GEAR最终的gFID 2.52（使用推理引导）与REPA-E的1.12之间的差距，相当程度上源于此。

这个差距背后有一个更深的架构性原因：在自回归模型里，"压缩率"和"序列长度"是绑定在一起的。目前的主流做法是把256×256的图片压缩成256个词汇（下采样16倍），生成模型就需要逐步生成256个词汇，这是计算量的来源。扩散模型则不同，它可以用8倍下采样的编码器保留更多细节（得到1024个潜在位置），然后再通过2×2的像素分组，让变换器实际处理的序列长度仍然是256。自回归模型做不到这种解耦——每增加一个词汇，就增加一步生成，就增加计算量。

研究团队认为，这个瓶颈是可以被部分克服的，方向是借鉴扩散模型的解耦思路，比如在自回归模型侧引入图块预测或多词汇并行预测，在不显著增加序列长度的前提下使用保真度更高的编码器。

另一方面，研究团队也指出了自回归离散生成的独特优势：它与大语言模型共享相同的技术生态，可以直接继承各种人类偏好对齐技术（如PPO、DPO、GRPO等），这在多模态统一模型的场景下尤为珍贵。GEAR作为一种让离散自回归图像生成更高效、更强大的基础方法，被研究团队视为通往统一多模态生成系统的一块重要拼图。

说到底，GEAR解决的是一个长期被当作"不可能任务"的问题：让图像的词汇化过程和图像的生成过程在同一张桌子上坐下来，通过一种不会引发崩溃的信息桥梁相互协商。这个"桥梁"——软路径上的表征对齐信号——精巧地绕开了离散索引的不可微障碍，同时严格阻挡了会导致词汇崩溃的预测损失信号。结果是，两位"厨师"终于学会了协同工作：编码器把食材切成更适合第二位厨师发挥的形态，第二位厨师则在更友好的食材基础上做出了更好的菜。

对于关注AI图像生成技术进展的读者而言，这项工作传递的一个更广泛的启示是：模型能力的边界并不总是需要靠堆参数或堆数据来拓展，重新审视训练流程本身的内在矛盾，有时候能以更小的代价实现更大的跨越。

**Q&A**

Q1：GEAR框架为什么不直接用"直通估计器"（STE）来连接编码器和生成器？

A：直通估计器的原理是在反向传播时假装不可微的操作不存在，强行把梯度传过去。但在GEAR的实验中，这导致了灾难性的结果：一旦生成模型的预测损失信号能够到达编码器，编码器就会走捷径，把所有图片都压缩到极少数几个词汇上，让预测变容易但图片还原质量完全崩溃，gFID指标高达104.9，几乎意味着生成的图片毫无意义。GEAR的解决方案是建立一条独立的软路径，传递表征对齐信号而非预测损失信号，从根本上消除了这个崩溃诱因。

Q2：GEAR端到端训练之后，编码器的图片还原质量会变差吗？

A：不会，反而略有改善。研究团队的消融实验显示，经过端到端联合训练的编码器，在rFID、PSNR、SSIM等还原质量指标上都持平甚至优于联合训练前的基线编码器。这是因为GEAR只让表征对齐信号流回编码器，严格阻断了会破坏还原质量的预测损失信号，所以词汇表不会崩溃，细节保留能力得以维持。

Q3：GEAR只适用于某种特定类型的图像编码方式吗？

A：不是。研究团队在三种不同的量化方案上都验证了GEAR的效果：传统向量量化VQVAE、频域量化LFQ和索引反向传播量化IBQ，三种方案都获得了明显的生成质量提升，gFID分别改善了约4个、约4个和约7个点。这说明GEAR的核心机制与具体量化方式无关，只要存在离散索引和自回归生成器的组合，GEAR的双路径引导框架就可以适用。