微软Lens如何用"以小博大"重新定义AI图像生成效率

这篇来自微软研究团队的成果，发表于2026年5月，论文编号是arXiv:2605.21573v1，放在计算机视觉领域的预印本平台上。如果对技术细节感兴趣，通过编号就能查到完整论文。

**研究概要：一场关于“用更少资源做更多事”的实验**

在AI图像生成这个领域，有一个让人隐&隐不安的趋势：想让模型画得更好，就得堆更多参数、烧更多电、花更多钱。训练一个顶级的文字转图像模型，动辄几十万GPU小时，换算成真金白银就是数百万甚至数千万美元的算力成本——这还没算环境影响。普通科研团队和中小机构，在这场军备竞赛里几乎连入场券都摸不到。

但微软团队提了一个挺有挑战性的问题：如果咱们不一味地扩大模型，而是从“每一步训练能学到多少东西”这个角度重新想，能走多远？于是，他们搞出了一个叫Lens的模型。Lens只有38亿个参数，可在多项公认的测试标准上，表现不仅能跟超过60亿参数的模型掰手腕，甚至某些指标还能反超。更关键的数字是：它的训练算力消耗，仅为同类竞品Z-Image的大约19.3%。换句直白的话说，别人花100块钱电费训出来的能力，Lens花不到20块就达到了。

这篇研究的意义绝不止于“省钱”。它更深层的贡献在于，系统性地指出了哪些因素真正决定训练效率，并且给整个行业提供了一套可以复制的方法论。

一、问题的起点：训练一个AI画家，钱都花在哪了

要理解Lens的思路，得先弄清楚训练一个文字转图像模型到底是在搞什么名堂。

简单讲，这类模型的训练过程，有点像在教一个从没见过世界的孩子理解语言和图像之间的联系。你给他看一张猫的图片，然后告诉他“这是一只橘色的猫，正趴在阳光照射的窗台上”，他得慢慢学会：当听到类似的描述时，脑海中该勾勒出什么画面。

训练大模型，本质上就是把这种“教学”过程重复上亿次。每一次，模型都会看一对图像和文字，然后调整自己的理解方式，让下次理解更准确。这个调整需要大量计算，计算就意味着时间和电力。

微软团队认为，训练效率受三个核心因素共同制约。第一是模型本身的大小——模型越大，每次计算就越费时间。第二是每一批训练数据能传递多少有用信息——如果每次喂给模型的图文对“营养价值”很低，那喂再多，进步也会很慢。第三是模型收敛的速度——也就是模型需要看多少次数据才能真正“学会”，有些架构设计会让模型学得特别慢。

Lens的策略，就是在三个维度上同时发力：把模型控制在38亿参数的相对紧凑规模；大幅提升每批数据的“信息含量”；再通过精心的架构选择加速模型的学习过程。

二、数据的密度：同样一张图，能讲出多少故事

Lens第一个核心创新，来自对训练数据的重新理解。

回到那个教孩子认识猫的比喻。假设有两种教学方式。第一种，你给他看张图，只说“这是猫”。第二种，你看同一张图，但详细描述：“这是一只橘色的成年公猫，侧卧在一扇朝南的木框窗台上，阳光从右侧斜射进来，眼睛微微眯着，尾巴悠闲地垂在窗台边缘，窗外模糊可见绿色的树叶。”

哪种方式能让孩子更快真正理解“猫”的概念，以及猫跟各种场景、属性的关系？答案不言自明。

Lens团队构建了一个叫Lens-800M的数据集，包含8亿张图像，每张都配有由GPT-4.1生成的详细中文描述，平均每段描述长达109个单词。这些描述不光说“图里有什么”，而是细致地涵盖了物体的属性、空间关系、动作、背景氛围，甚至图中的所有文字内容（文字保留原始语言）。

为了验证这种详细描述策略的有效性，团队专门做了个对照实验。他们用同样的模型架构训练了三个版本：一个只用简短描述，一个只用详细描述，一个混合使用。结果很清楚：只用详细描述训练的版本，在生成质量基准测试GenEval上的得分，从训练一开始就稳定领先另外两个，而且领先优势随着训练步数增加持续拉大。

这个发现在直觉上很好理解：更丰富的文字描述，让每个训练样本能传递更多视觉-语义关系信息，相当于同样的训练时间里，模型的“学习效率”提高了。

除了文字层面的信息密度，团队还在图像层面下了功夫。构建每一批训练数据时，他们刻意混入不同分辨率（从512×512到1024×1024）和不同长宽比（从竖向的1:2到横向的2:1）的图像，一共设计了27种不同组合。好处是双重的：一方面，模型在不同尺度下见到的视觉信息更丰富，能同时学习全局构图和局部细节；另一方面，这种多尺度训练带来一个意外的“副产品”——模型在推理时能很好地泛化到训练中从未出现过的分辨率，比如1440×1440，而无需专门进行高分辨率训练。考虑到高分辨率训练的计算量跟图像面积呈平方关系增长，这个副产品本身就省下了大量额外算力。

三、架构的选择：选对“大脑结构”，学习事半功倍

如果说数据是Lens学习的“教材质量”，那么模型架构就决定了Lens这个“学生”的学习方式是否高效。团队在两个关键的架构组件上做了系统的对比实验：图像编码器（VAE）和语言编码器。

图像编码器：不仅仅是压缩工具

图像编码器，也叫VAE（变分自编码器）。它的作用是把一张完整图像压缩成紧凑的“内部表示”，然后扩散模型在这个压缩表示上学习如何生成图像。可以理解成一本翻译词典：原始像素是一种语言，压缩后的“潜在表示”是另一种语言，扩散模型需要在后者的语言空间里工作。

团队比较了几种不同的VAE，包括FLUX.1、SD3等传统架构用的，以及FLUX.2、VTP等新架构用的“语义VAE”。传统VAE主要被设计成能高质量地“重建”原始图像，语义VAE则更多考虑了压缩后的表示对下游生成任务是否友好。

实验结果表明，采用FLUX.2的VAE，模型不光最终生成质量更好，整个训练过程中的收敛速度也明显更快——同样训练步数下，用语义VAE的模型能达到更高性能。这个发现很重要：一个看似只是“图像压缩工具”的组件，竟然对训练效率有如此显著的影响。团队总结说，VAE定义的潜在空间越紧凑、语义越清晰，文字与图像之间的对齐关系就越容易被扩散模型学到，需要的训练迭代次数也就越少。

语言编码器：多语言的“内化”能力

另一个关键组件是语言编码器，也就是把用户输入的文字转化为模型能理解的“语义向量”的那部分。团队对比了GPT-OSS（一个拥有20B参数但实际激活只有3B的混合专家模型）与Qwen3系列（0.6B、1.7B、4B三个规模）的表现。

结果很清楚：更强的语言编码器不光让模型理解英文提示词时表现更好、收敛更快，还带来一个格外珍贵的能力——多语言泛化。Lens的训练数据全部是英文图文对，但仅因为语言编码器足够强大，模型在推理时对中文、法文、日文、西班牙文等语言的提示词也能给出不错的回应。这意味着，足够强的语言编码器在某种程度上把多语言理解能力“内化”进了模型，而无需专门收集多语言训练数据。从训练成本角度看，这相当划算。综合考虑，Lens最终选用了GPT-OSS作为语言编码器。

四、模型架构全貌：把三个部件组装在一起

Lens的整体架构由三个主要组件构成，各司其职，协同完成从文字到图像的生成过程。

第一个组件是FLUX.2的VAE，负责图像和潜在表示之间的转换。第二个组件是核心的扩散Transformer，负责在潜在空间里完成噪声到图像的生成。这个Transformer采用了MMDiT风格的架构，由48个处理块堆叠而成，每个块分别处理图像特征和文字特征，再通过自注意力机制让两者相互影响。图像特征使用了RoPE（旋转位置编码），这种位置编码在泛化到不同分辨率时表现更好。模型的隐藏维度为1536，每个注意力层有24个注意力头。

为了更好利用语言编码器GPT-OSS的多层次语义信息，团队没有只取最后一层的输出，而是提取了第4、第12、第18和第24层共四个位置的特征，拼接后通过一个线性适配层转换为与图像特征相同的维度。这样做的目的是捕获语言理解的不同层次——浅层特征反映词汇和句法信息，深层特征反映语义和语用信息，同时使用两者能给模型提供更全面的语言理解基础。

第三个组件是一个独立的“推理器”（Reasoner），它在Lens接收到用户输入之前先发挥作用，把用户写的简短或模糊的描述扩展成更详细、更符合训练数据分布的提示词。由于推理器和扩散模型相互独立，推理器可以随时替换成不同的语言模型。默认使用GPT-5.5，但也验证了GPT-OSS等开源模型作为推理器同样能带来相当大的提升，而且因为GPT-OSS本身已作为文字编码器运行，用它同时充当推理器不会增加任何额外的GPU内存占用。

五、训练流程：从粗到细，循序渐进

Lens的完整训练过程分两个主要阶段，各有侧重。

第一阶段是固定分辨率的预训练。团队在128块英伟达A100 80GB显卡上，以512×512的固定分辨率训练了40万步。这个阶段，VAE和语言编码器的参数全部冻结，只有扩散Transformer的参数被更新。训练使用了流匹配（Flow Matching）目标函数，这是一种比传统扩散模型训练更高效的方法。采用AdamW优化器，全局批量大小为3072张图像，学习率固定在2×10⁻⁴。

第二阶段是混合分辨率的持续训练，从第一阶段的检查点出发，再训练40万步。这个阶段引入了前面说的27种分辨率和长宽比组合，不同分辨率的批量大小根据计算量做了调整——高分辨率批次的图像数量更少，以确保不同分辨率的训练步骤在实际计算时间上大致相当。这种动态批量调整策略，避免了高分辨率训练对整体训练进度造成不成比例的拖慢。这一阶段的学习率降到1×10⁻⁴。

训练完成后，模型已经能生成多样的图像，并很好遵循用户描述。但团队注意到，部分结果在视觉质量上仍有波动，偶尔出现各种视觉缺陷。于是他们引入了基于强化学习的后训练步骤来进一步打磨模型。

六、强化学习后训练：用“评分系统”纠正坏习惯

强化学习在AI训练中的作用，可以这么理解：如果前面的预训练是让模型通过大量练习学会“画画”的基本功，那么强化学习就是让一位挑剔的老师坐在旁边，对每幅画详细点评，然后让模型根据反馈调整画风。

要让这个“点评系统”发挥好作用，先得解决两个问题：评什么，以及如何保证评分覆盖足够广泛。

“评什么”这个问题上，团队开发了一套基于“评分细则”（Rubric）的奖励机制，灵感来自学术论文评审和考试评分。具体流程是：对每个训练提示词，先用GPT-4.1生成10条针对该提示词的具体评分标准，比如“验证图中确实出现了恰好一个红色踢球”或“确认围栏标牌上的文字与描述完全匹配”；再附上一条通用标准：“验证整张图像在结构上是连贯的、物理上是合理的”。然后，用当前模型对每个提示词生成24张不同分辨率的图像，把每张图像连同评分标准输入GPT-4.1-mini，由它为每条标准打出0或1的分数。模型根据这些得分调整生成倾向，朝得分更高的方向靠近。

“覆盖足够广泛”的问题上，团队构建了一个叫Lens-RL-8K的提示词数据集，包含8406条提示词，涵盖了人像、物体、动物、植物、场景、食物、事件、虚构世界、文字渲染以及UI和图形设计共10大类别，每类下面又有几十个子类别，每个子类别下有数百个具体条目。团队发现，RL训练数据的多样性对最终效果至关重要。对比实验证明：用完整Lens-RL-8K数据集训练，GenEval得分达到0.930；用一半数据集，得分降到0.920；只用四分之一数据集，得分进一步降到0.916。而在去掉文字渲染相关提示词后单独测试文字生成能力时，差距更明显——包含文字类提示词的完整数据集训练版本，在两个文字渲染基准测试上均优于去掉这部分数据的版本。这说明，RL数据分布必须尽可能贴近预训练数据的整体分布，否则模型会在某些类别上改善，却在其他类别上退步。

RL训练在64块A100显卡上进行了180步，使用了DiffusionNFT这一专为扩散模型设计的强化学习算法。为了防止模型过度优化奖励分数而失去多样性，训练中还加入了KL散度惩罚项，把模型的行为约束在距离原始版本不太远的范围内。

七、推理加速：四步完成，快到飞起

完成预训练和强化学习后训练的Lens，默认用20步推理生成一张1024×1024的图像，在单块英伟达H100显卡上耗时约3.15秒。这对大多数应用场景已经够用，但团队还额外开发了一个加速版本Lens-Turbo，只需4步就能完成生成，耗时0.84秒，提速约3.75倍。

Lens-Turbo通过“蒸馏”技术实现。蒸馏的原理类似于用一个完整版老师的知识训练一个精简版学生，但这里的“学生”不是参数更少的小模型，而是同样规模但能在更少步骤内完成生成的版本。

具体技术上，团队结合了DMD2、decoupled-DMD和SenseFlow三种方法的优点，并引入了R1正则化来提升训练稳定性。整个蒸馏过程在从Lens-800M中精选出的10万张高质量图像上进行，这些图像在审美得分、内容多样性（人像、风景、艺术风格、文字丰富场景等）上都经过了严格筛选。Lens-Turbo不需要分类器自由引导（CFG），进一步降低了推理时的计算需求。实验表明，Lens-Turbo在主要基准测试上的表现与20步版本相当，生成质量几乎没有明显下降。

八、推理时的智能增强：训练无关的提示词优化

除了模型本身的能力，团队还开发了一套“训练无关的系统提示词搜索”策略，用于优化推理器如何将用户原始输入转化为更适合Lens的详细提示词。

这个策略的运作方式像是一个自我迭代的改进循环：先用当前的系统提示词（给推理器的指令模板）让模型生成一批图像，分析哪些图像出了问题、哪些类型的用户输入没有被很好处理；把这些“失败案例”的文字描述喂给GPT-5.5，请它根据分析结果重写系统提示词；再用新的系统提示词重复上述过程，不断迭代。这个方法不需要任何额外的模型训练，只是在寻找更好的“指令语言”。

值得注意的是，这套提示词优化策略不是Lens专用的——团队把它应用到Qwen-Image（一个20B参数的竞品模型）上，也取得了明显的性能提升，说明这是一种有普遍适用性的方法。

九、实验结果：数字背后的真实差距

Lens在四个主流基准测试上与当前最先进的模型进行了全面对比。这四个测试分别从不同维度评估图像生成能力。

GenEval专门测试模型能否准确生成满足复杂构图要求的图像，比如“两个不同颜色的物体，一个在左边一个在右边”。Lens在这个测试上得分0.930，超过了同为6B参数的Z-Image（0.840）和LongCat-Image（0.870），以及20B参数的Qwen-Image（0.868）。就连80B参数的Hunyuan-Image-3.0（0.720）也被它远远甩在身后。加速版Lens-Turbo得分0.914，同样优于多数竞品。

OneIG测试更综合，覆盖普通物体、人像、动漫风格、文字渲染和知识推理五个维度，分别评估对象对齐、文字准确性、推理能力、风格还原和多样性。英文版测试中，Lens（0.557）超越Z-Image（0.546）、Qwen-Image（0.539）以及多个商业模型。中文版测试中，Qwen-Image的0.548略高于Lens的0.525，反映出Lens在中文环境下还有提升空间——这跟Lens仅在英文数据上训练的事实一致。

文字渲染测试中，LongText（EN）测试160个英文场景，Lens得分0.937，超过Z-Image的0.935；CVTG测试多文字区域的复杂视觉文字生成，Lens-Turbo在NED（归一化编辑距离）指标上得分高达0.965，超越所有对比模型，包括Seedream 4.0（0.951）和GPT Image 1（0.948）。

这些数字的背景是：Lens的训练算力仅为192K A100 GPU小时（换算标准为312 TFLOPS BF16），而Z-Image用了314K H800 GPU小时（换算标准为989.5 TFLOPS BF16）。按统一TFLOPS标准折算，Lens使用的实际计算量约为Z-Image的19.3%。

十、看得见的效果：Lens能画出什么

论文中展示了大量由Lens-Turbo在1440像素分辨率下生成的图像样本，涵盖多个类别。

通用图像生成方面，Lens能生成高度逼真的自然景观、动物特写、建筑场景和奇幻世界，细节层次丰富，从宏观构图到微观纹理都有相当强的控制力。人像生成方面，模型展示了跨越不同种族、职业、年龄和文化背景的人物，面部细节和光线处理尤为出色。

多语言文字渲染方面，Lens能准确在图像中渲染英文、中文以及其他语言的文字内容，包括店铺招牌、海报、路牌等各种真实场景中的文字呈现，字体清晰可辨，与周围场景融合自然。多语言提示词遵循方面，就算输入的是中文、法文、西班牙文或日文，Lens也能准确理解并生成对应的图像内容，比如具有中国文化特征的食物、法国地标建筑、日本传统服饰等。

说来说去，Lens这项研究最有价值的地方，不只是发布了一个性能出色的模型，而是系统性地回答了一个被整个行业忽视的问题：训练效率究竟由什么决定，以及如何在不牺牲性能的前提下把效率拉到极致。团队发现，详细的训练描述、多分辨率混合训练、合适的VAE和语言编码器选择，这四个因素加在一起，能让同样的计算资源发挥出远超预期的效能。Lens-Turbo能在一块H100显卡上不到一秒就生成一张高质量图像，这个速度足以支撑相当多的实时应用场景。

当然，Lens并非没有局限。中文提示词的表现略逊于英文；日语、法语等语言中的文字渲染还有待改善；偶发的视觉缺陷问题也没彻底解决。这些局限指向了未来可以继续改进的方向：更广泛的多语言文字数据、覆盖更多长尾场景的训练数据，以及更强健的安全过滤机制。

对普通用户来说，Lens意味着更快、更省资源的AI图像生成正在成为可能；对研究社区来说，这篇工作提供了一套经过严格实验验证的效率优化方法，值得在未来的模型开发中认真参考。对技术细节感兴趣的读者，可以通过arXiv编号2605.21573查阅完整论文。

Q&A

Q1：Lens模型的训练算力为什么只有竞品Z-Image的19.3%？

A：Lens同时优化了三个影响训练效率的因素：用GPT-4.1生成平均109词的详细图文描述代替简短标注，让每批数据携带更多信息；混合27种分辨率和长宽比训练，提升视觉信息多样性并实现高分辨率泛化；选用FLUX.2的语义VAE和GPT-OSS语言编码器加快模型收敛速度。三者叠加，使Lens在192K A100 GPU小时内达到了Z-Image用314K H800 GPU小时才能达到的性能水平。

Q2：Lens-800M数据集的图片来源是什么，如何保证质量？

A：Lens-800M包含来自公开真实数据、公开合成数据、私有数据和文字合成数据四类来源共约8亿张图像，经过九个清洗步骤筛选：依次过滤损坏文件、低分辨率图、NSFW内容、低美学得分图、含水印图、模糊图、低信息量图、曝光异常图，并通过CLIP嵌入去除余弦相似度超过0.985的近重复图像。通过这些步骤保留下来的图像，每张都由GPT-4.1重新生成详细描述。

Q3：Lens强化学习后训练中的评分细则是怎么生成的？

A：对于Lens-RL-8K数据集中的每一条提示词，研究团队先将提示词和一段系统指令一起输入GPT-4.1，由GPT-4.1自动生成10条针对该提示词的具体可验证评分标准，例如“验证图中恰好有一个红色踢球”，再统一追加一条通用标准“验证整张图像在结构上连贯、物理上合理”。生成图像后，GPT-4.1-mini负责对照每条标准打0或1的分数，这些分数作为强化学习的奖励信号驱动模型调整。