中山大学与Adobe联手突破AI生成图片"失真"难题

这项由中央大学（Chung-Ang University）计算机机器学习实验室与Adobe Research联合推进的研究，以预印本形式于2026年6月13日发布在arXiv上，论文编号是arXiv:2606.15158v1。各位如果有兴趣深究，可以直接拿这个编号去查原文。

一、一张好图，为何经过AI处理后反而"面目全非"？

先说个场景。你手头有一张细节非常丰富的高清参考图，比如自己最喜欢的那款手提包、一个精致的陶瓷摆件，或是自家那只毛发根根分明的猫咪。然后你把它交给某个AI图像生成工具，想让AI把这个物体"合成"到另一张场景图里去。结果出来之后，那个物体像是隔着一层毛玻璃——细节模糊了，颜色也跑偏了，原本的花纹图案彻底消失，整体看起来就像个山寨货。

这种让人抓狂的情况，其实不是AI工具设计者马虎，而是几乎所有"参考图引导生成"系统都踩过的一个坑。问题出在哪儿？当系统拿到你的参考图后，它并不是原样喂给自己的大脑，而是先强制将图片缩小到一个固定低分辨率——好比说一位画师拿到一张A3大小的精细素描，他却在动手前先把它缩印成一枚邮票，然后再对着这枚邮票临摹。邮票上的细节早就没了，画出来的东西自然面目全非。

研究团队把这块领域叫做"参考图引导生成内容"（RefGC），它支撑着我们今天日常用到的图像合成、定制化生成、图像编辑等大量功能。而它一直背着两个叠加的包袱：第一，高清参考图在进入AI前就被强制压缩，精细信息提前丢了一地；第二，AI在生成过程中还会额外塞进去自己"创作"的痕迹，即各类生成伪影，包括物体身份失真、细节不一致、纹理丢失和整体质量下降。这两个问题叠加，最终生成的结果和用户的期望之间就隔了一道鸿沟。

中央大学和Adobe Research这次决定从根上解决。他们提出了一个全新的任务框架，取名为"参考图引导生成内容的超分辨率精炼"，缩写是RefGC-SR?。思路其实挺直接：既然AI生成的图片同时有低分辨率和伪影两个毛病，那为什么不在AI生成完毕之后，再拿着用户最初提供的那张高清参考图来做"后期修复"呢？这就像一位修复师，手里拿着原件的超高清照片，对着一件粗糙的仿制品逐一比对、精细打磨，让最终的复制品既有高分辨率，又在细节上忠实还原原件的神韵。

二、这个问题究竟有多普遍？四种"失真症状"逐一拆解

为了方便理解问题的严重程度，研究团队归纳了AI参考图生成过程中最常见的四种"病症"。

第一种叫"身份失真"。以一组俄罗斯套娃为例，用户提供的参考图上，套娃有着精致的绘画细节和特定的面部表情。但AI生成的结果中，套娃的脸完全变了样——变成了一个风格迥异的卡通脸，原本那种民族风情的细腻笔触荡然无存。这就像你让画师画你家的小狗，结果他却画出了一只完全不同的品种。

第二种叫"细节不一致"。比如一罐果酱的瓶身上印有完整的营养成分表和品牌标识，而AI生成的结果中这些文字变得模糊不清，甚至出现了乱码和变形，根本看不出原始信息。换句话说，你让AI帮你复印一份合同，结果对方还回来一堆走形的笔画。

第三种叫"纹理丢失"。比如一只蓝紫色的陶瓷兔子摆件，表面本应有细腻的光泽和微妙的色彩变化。AI生成后，表面变得平滑而单调，那种独特的材质感消失得干干净净，看着就像用塑料捏的。

第四种叫"整体质量下降"。即便物体的基本形状大致对了，整张图片也会显得模糊、生硬，彻底缺失真实照片应有的质感和生命力，像是一张被反复翻拍过的旧照片。

在这项研究之前，学术界和工业界有没有其他方法来处理这些问题？研究团队梳理了一圈，发现现有方法都只能解决一个碎片，没有谁能同时应对所有难题。

普通的图像超分辨率技术（ISR）能把低清图变高清，但它完全是按照相机拍摄失真的规律来设计的，根本看不懂AI生成的那种特殊失真。参考图引导超分辨率技术（RefSR）虽然会用参考图，但同样只针对自然图像的失真，对AI生成内容特有的问题束手无策。生成内容超分辨率技术（GCSR）倒是专攻AI合成图片，但它压根不用参考图，自然也就没法恢复那些从参考图里才能拿到的特定细节。现有的参考图引导生成内容精炼技术（RefGCR）最接近目标——它能用参考图修正AI生成的伪影，可它只能在固定分辨率下干活，无法同时提升图片清晰度。

研究团队专门做了张比较表，展示了所有相关技术在四个关键维度上的表现：是否处理AI生成内容、是否使用高清参考图、是否提升分辨率、是否精炼伪影。结果很清楚，只有他们提出的RefGC-SR?在四个维度上都打了勾。这个发现说明，他们填补的确实是一个真实存在却长期没被正视的技术空白。

三、训练数据从哪来？一套精妙的"配对图片制造流水线"

任何AI模型的训练都需要大量的配对数据，也就是"输入是什么、期望输出是什么"这样的样本对。RefGC-SR?需要的是一种三元组：一张含伪影的低分辨率AI生成图（LRGI）、一张高清参考图（HRRI）、以及一张对应的高分辨率真实目标图（HRGT）。这三张图必须描述同一个物体实例，但可以取自不同角度、不同背景。

问题来了，这种三元组数据在现有数据集里根本找不到。普通超分辨率数据集里的"降质"是人为模拟的模糊和噪声，不包含真实的AI生成伪影；而现有的AI生成内容数据集又缺配套的高清真实目标图。更麻烦的是，如果直接用现有AI图像合成模型来生成LRGI，这些模型会擅自改变物体的姿势和角度，导致LRGI和HRGT之间的姿态对不上——这对训练来说是个大忌讳，因为模型会误以为自己还需要学习"改变姿态"，而不是专注修复细节和提升分辨率。

于是研究团队设计了一套两阶段的数据构建流水线，从零开始制造这些三元组。

第一阶段专门收集现实世界里的HRRI-HRGT配对。团队从三个高分辨率真实图像和视频数据集中提取素材：ORIDa（提供物体在不同背景下的真实合成图片对）、uCO3D（提供同一物体从多角度拍摄的视频），以及UltraVideo（提供在自然运动中拍摄的多样化视频）。对于视频数据，团队先用一个叫Qwen3-VL的视觉语言模型自动筛选出以物体为主体的视频片段，逐帧细化筛选，再用SAM3（一个专门做图像分割的模型）给物体生成精确的轮廓遮罩。最后人工审核员做最终的质量把关和配对确认。这个流程就好比在一个巨大的图书馆里，先由AI助手快速翻阅所有书，找出可能有用的页面，再让专业编辑逐一确认。

第二阶段负责为每对HRRI-HRGT合成对应的LRGI，这是整套流程中最具创意的环节。研究团队专门设计了一个生成模型，取名叫DipRefGC（双联画条件参考图引导生成器）。这个模型的核心挑战在于：既要让生成的LRGI在物体外观上忠实于HRRI（因为LRGI应该是"试图参照HRRI生成"的结果），又得让物体的姿态和角度严格对齐HRGT（这样训练时模型才能专注于修复而不是学习改变姿态）。

DipRefGC采用了一种"双联画"的构图方式——每个条件输入图片都被设计成左右两格拼在一起的样子，就像博物馆里并排展示的两幅相关画作。外观控制部分用一个"修复式控制网络"（Inpainting ControlNet）：左格放从HRRI中提取的物体，右格放HRGT的背景加上一个遮盖了物体区域的空白遮罩，这样强迫模型必须依靠左格HRRI的外观来"填充"右格的空白，从而自然地产出类似真实AI生成的伪影效果。姿态控制部分则用了另一个"边缘线条控制网络"（Canny ControlNet）：右格展示HRGT中物体区域的轮廓线条，告诉模型"生成的物体必须符合这个形状"。两个控制网络分工明确，一个管"画什么"，一个管"怎么摆"。

这套系统跑在FLUX这个强大的图像生成模型基础上，用LoRA（一种轻量级微调技术，好比给大模型贴上专用"补丁"）来适配双控制网络。整个DipRefGC在收集到的HRRI-HRGT配对上进行训练，最终成功地生成了姿态一致、包含真实AI伪影的LRGI样本。

最终，这套流水线产出了40,000组训练三元组和200组评估三元组，组成了研究团队所称的RefGC-SR?数据集——据称是该任务领域的第一个真实世界三元组数据集。从DipRefGC的消融实验来看，单单增加Canny边缘控制就能将物体遮罩的IoU（衡量形状匹配程度的指标）从0.480拉升到0.601，而针对合成和定制化两种场景进行联合微调后，参考图的身份保留能力进一步提升，与真实AI生成输出之间的分布差距也缩小了不少。

四、核心模型如何工作？频率感知让"粗略轮廓"和"精细纹理"各归其位

有了数据，研究团队接着搭建了RefGC-SR?模型本身。这个模型建立在一个叫FLUX-Kontext的扩散变换器（DiT）骨干模型之上，骨干的所有参数全部冻结不动，只在其中插入可训练的新模块。

在设计这个模型之前，团队做了两个重要的"侦察实验"，这两项发现直接决定了模型的架构走向。

第一个发现来自对FLUX-Kontext自身的频率分析。团队测量了这个大模型在每一层神经网络中处理图像时，低频信息（可以理解为整体轮廓和大色块）和高频信息（可以理解为细节纹理和边缘）各自的能量变化。结果显示，低频信息在模型最开始的约5%的层里就已经迅速稳定下来——说明整体结构是在早期层里形成的；而高频信息要等到最后约10%的层才突然大量涌现——说明精细细节是在晚期的层里才被添加上去的。这个发现就像观察到一个画家的作画习惯：他永远先拿大笔刷确定构图，然后才拿起细笔刷去加工细节，次序分明。

第二个发现来自对LRGI、HRRI和HRGT三者之间关系的分析。团队把这三种图像在模型的理解空间（即潜在特征空间）里做了相似度比较：当比较所有频率成分时，LRGI和HRRI与HRGT的相似度没有明显规律。可一旦只拿低频成分来看，结果就非常清晰——LRGI的低频成分与HRGT非常接近，而HRRI的低频成分与HRGT差距较大。这说明，从整体结构的角度看，AI生成的低质量图（LRGI）实际上已经和期望目标（HRGT）比较接近了，真正缺的是高频的细节信息，而这些细节应该从HRRI里汲取，而不是从LRGI里。

基于这两个发现，团队设计了两大核心组件。

第一个组件叫"频率自适应LoRA专家混合"（FreqMoLE）。如果把模型的每一层比作一个工作岗位，FreqMoLE的做法就是在每个岗位上同时安排两位专家：一位"低频专家"（负责整体轮廓和大结构），一位"高频专家"（负责精细纹理和细节）。这两位专家同时工作，但他们的"发言权重"由一个叫"门控值α"的参数控制，而且这个权重会随层数深度自动变化：在模型的早期层，门控值接近1.0，几乎全听低频专家的；到了晚期层，门控值逐渐降到接近0，几乎全听高频专家的。这种安排完美契合了前面发现的"先定结构、后加细节"的规律，让每位专家在最合适的时机发挥最大价值。门控值在训练初期先被固定住，确保早期层和晚期层的职责分工稳定建立，之后再与两位专家一起共同优化。

第二个组件叫"频率损失"（Lf），这是用来指导模型学习方向的"评分标准"。它分为两部分。低频部分的规则是：模型输出的低频成分必须尽量贴近HRGT的低频成分，确保整体结构与期望目标一致，评分时只算物体所在区域的差异（通过遮罩限定范围）。高频部分的规则则要有技巧得多：因为HRRI和HRGT拍摄角度不同，没法直接对比像素位置，所以改为对比统计特性——模型输出的高频成分，其平均值和方差应当尽量接近HRRI的高频成分，而不是直接去抄HRGT。这样模型就能从HRRI那儿"借鉴"细节的风格和质感，而不是死板地照搬每个像素。这个设计好比让厨师学习一道菜的"味道风格"而非死记每个步骤，这样他就能在不同条件下复现同样的风味。

实际训练中，最终的总体损失函数由三部分组成：来自FLUX-Kontext骨干的标准流匹配损失（LFM，负责主要生成质量监督）、来自ImageCritic研究的注意力对齐损失（Laal，让模型把注意力正确集中在HRRI的物体区域而不是背景上），以及团队自己提出的频率损失（Lf）。这三个评分标准各司其职，分别把控"生成质量"、"参考注意力"和"频率信息来源分配"三个维度。

五、实验结果如何？数字和眼睛都说了算

研究团队在两个测试场景下评估了RefGC-SR?模型的表现：一是自家构建的RefGC-SR?评估基准（200组三元组，来自训练集之外的新样本），二是更贴近真实使用场景的"野外测试"（用四种真实的AI生成模型——DreamFuse、InsertAnything、FreeCus、PersonalizeAnything——来产生LRGI，共200组样本）。

在量化指标上，竞争从几个角度展开：CLIP-I衡量图像内容相似度，DINO衡量特征层相似度，PSNR和SSIM衡量像素级重建精度，LPIPS衡量人类感知层面的图像质量（越低越好）。

在RefGC-SR?基准上，RefGC-SR?模型以CLIP-I 0.8696、DINO 0.7474、PSNR 17.5148、SSIM 0.6335、LPIPS 0.2746的成绩全面超越所有对比方法。最接近的竞争者ImageCritic（CVPR‘26）CLIP-I达到0.8542，但DINO（0.7165）和LPIPS（0.2991）上都明显落后。在野外测试中，RefGC-SR?同样在所有指标上领先，包括合成任务和定制化任务两个子场景都保持了优势。

除了数字指标，研究团队还展示了视觉对比。从定性结果来看，其他方法普遍存在各类问题：有些（如DiT4SR）能提升分辨率，但修复不了生成伪影；有些（如ImageCritic）能修复部分伪影，但图像变得过于平滑，细节反而更少；有些（如ReFIR）在某些细节区域出现幻觉，凭空添加不存在的纹理；还有些（如OmniPaint）根本没有有效利用HRRI信息来修复伪影。而RefGC-SR?的输出则在保持整体场景结构的同时，把HRRI中的细节忠实地转移到生成图上。

用户研究的结果更直观。团队邀请了16位参与者，对每个测试样本的四种方法输出（一种SR方法、一种RefSR方法、一种RefGCR方法和本研究方法），从"精炼质量"、"细节恢复质量"、"整体质量"三个维度打分。结果显示，RefGC-SR?在所有三个维度上获得最高分（排名第一）的概率分别高达83%、82%、83%，而其他方法最高分的概率最多只有8%。反过来，RefGC-SR?被评为最差的概率只有3%到4%，而ImageCritic被评为最差的概率竟高达51%到66%——这跟量化指标中ImageCritic排名第二的结果形成了鲜明反差。团队解释说，这是因为ImageCritic倾向于输出过度平滑的结果，像素级指标上表现尚可，但人类观察者能明显感受到细节纹理的缺失，认为这是质量下降。这个发现本身也很有价值：量化指标不一定能完整反映人类感知层面的图像质量，尤其是在需要恢复精细细节的任务里。

六、消融实验：拆开来看，每个零件都不可或缺

研究团队还做了系统性的"拆件测试"（消融实验），逐一评估FreqMoLE和Lf各自的贡献。

当两个组件都去掉时（只保留基础模型），CLIP-I为0.8437，DINO为0.6870，LPIPS为0.3538。单独加入Lf时，DINO跳升至0.7386（提升7.5%），LPIPS降至0.2835（改善19.9%），说明频率损失对物体身份的忠实度和感知质量贡献显著。从视觉上看，没有Lf时，模型会把HRRI的内容直接"注入"到输出里，破坏HRGT的整体结构；加上Lf后，模型学会了既保留HRGT的结构，又高效地从HRRI里借鉴高频细节。单独加入FreqMoLE时，PSNR提升6.0%，CLIP-I提升2.8%，说明层次化的低频/高频专家分工确实有助于提升重建精度。从视觉上看，没有FreqMoLE时，一个透明玻璃杯在输出中变成了不透明的；加入后，模型正确地恢复了透明感。当两个组件都加入时，所有指标均达到最优：CLIP-I 0.8696、DINO 0.7474、PSNR 17.5148、SSIM 0.6335、LPIPS 0.2746，证明两者扮演着互补而非重叠的角色。

七、泛化能力：对商业AI大模型同样有效

研究团队还额外测试了一个很有说服力的场景：如果LRGI来自主流商业AI模型，RefGC-SR?还能发挥作用吗？他们选取了三款当前广泛使用的商用模型——Gemini 2.5 Flash Image、GPT-Image 1.5，以及开源模型Qwen-Image-Edit，用它们生成LRGI，然后交给RefGC-SR?和其他对比方法处理。

从视觉对比来看，其他方法在面对商业模型输出时仍然存在各自的固有短板：有的方法无法识别并修复商业模型产生的特有伪影，有的在高频细节上出现幻觉，有的干脆没利用HRRI的信息。相比之下，RefGC-SR?在三个商业模型的输出上都展现出稳定的修复和超分辨率能力，能够从HRRI中准确地提取细节信息并融入到修复后的图像中。这说明，尽管RefGC-SR?是在自己构建的合成数据上训练的，但它学到的能力具有相当强的泛化性，能迁移到从未见过的商业AI系统的输出上。

八、这项研究的局限性和未来方向

研究团队在论文中坦率地指出了当前工作的主要局限。首先，训练数据集是用DipRefGC合成的，并不是直接从真实的RefGC管线中采集的样本，这意味着数据中的伪影分布可能与真实世界的所有RefGC系统不完全吻合。其次，数据集目前只涵盖12个物体类别，以物体为中心的场景居多，对于人物、复杂背景或非常规场景的覆盖还不够广。第三，RefGC-SR?模型目前绑定在FLUX-Kontext这个特定的骨干模型上，当HRRI和LRGI之间的视角差异或几何变形非常剧烈时，模型可能难以正确处理。

团队也提出了几个未来改进方向：直接从多种真实RefGC管线中采集LRGI样本来扩展数据集的覆盖面，纳入更多物体类别和场景类型，将方法扩展到其他DiT骨干模型，以及引入具有几何感知能力的参考图匹配机制来应对大视角差的挑战。

归根结底，这项研究从一个看似细小的工程问题出发——AI生成图像的质量和清晰度不够理想——但它触及的却是整个参考图引导生成技术生态中的一个系统性缺陷。研究团队没有试图去修改现有的生成模型，而是提出了一个后处理的新任务框架，利用用户本来就有的高清参考图作为修复线索，同时完成超分辨率和伪影精炼两件事。这个思路的转换——从"改进生成"变成"善用现有资源修复生成结果"——不仅在技术上取得了有据可查的进展，也为实际应用开辟了一条务实的路径：用户不需要等待更好的生成模型，只需在生成之后多走一步，就能显著提升最终图像的质量和对参考图的忠实度。对于那些在电商、设计、个人创作等领域大量使用AI生成图像的用户来说，这一步的价值是相当具体且可感知的。

进一步了解技术细节，可以通过arXiv编号2606.15158查阅完整论文。

Q&A

Q1：RefGC-SR?技术解决的核心问题是什么？

A：RefGC-SR?解决的是AI参考图引导生成（比如把你的参考产品图合成到场景里）时产生的两个叠加问题：一是高清参考图在进入AI之前就被强制压缩导致细节丢失，二是AI生成过程本身产生的伪影，比如物体变形、纹理消失等。这套方法在AI生成完成后，用用户本来就提供的那张高清参考图来同时修复伪影和提升分辨率。

Q2：DipRefGC是做什么用的，为什么需要专门设计它？

A：DipRefGC是一个专门用来合成训练数据的生成模型。训练RefGC-SR?模型需要大量"低质量AI生成图、高清参考图、高质量目标图"三件套，但这样的数据根本不存在。直接用现成AI生成模型来造数据的问题在于它会改变物体姿态，导致训练时模型误学了"纠正姿态"而不是"修复细节"，所以研究团队专门设计DipRefGC来生成姿态严格一致、同时包含真实AI伪影的低质量图片。

Q3：FreqMoLE和普通LoRA微调有什么不同？

A：普通LoRA只在每一层插入一套可训练参数。FreqMoLE则在每一层插入两套参数，一套专门处理图像的整体结构信息（低频专家），一套专门处理精细纹理信息（高频专家）。两套参数的"发言权重"随模型层数自动调整：早期层让低频专家主导，晚期层让高频专家主导，这样就和FLUX-Kontext模型本身"先定结构再加细节"的内在规律完美匹配。