中南大学团队打造"自我进化"的AI训练数据工厂

这项由中南大学与香港科技大学联合开展的研究，以预印本形式发布于2026年6月30日，论文编号为arXiv:2606.31537，感兴趣的读者可通过该编号查询完整论文。

每次看到AI生成的图片里那些歪七扭八、根本看不清文字的时候，大多数人第一反应都是：这AI还不够聪明。但研究者换了个角度看问题——问题可能不出在AI本身，而在喂给它的教材质量太差。更有意思的是，那些被直接扔掉的“不合格教材”，恰恰藏着让AI变聪明的关键线索。

这套系统叫DataEvolver（数据进化器），核心思路其实很朴素：一个好老师，会从学生犯的错误里总结规律，调整教学方式；可现在大多数AI训练数据流水线，只是把不合格材料扔掉，然后用同一套方法继续找下一批材料，结果一犯再犯相同的错。DataEvolver要做的，就是让数据收集这件事本身也能“越做越聪明”。

一、被遗忘的“废品堆”里究竟藏着什么

要理解这项研究到底在解决什么问题，先得搞明白“文字丰富图像生成”是怎么回事。这类任务要求AI同时做到几件难事：画出看起来真实的场景，在场景里渲染出清晰可读的文字，让文字内容和画面主题对得上，还得让文字的位置和排版看起来自然合理。餐厅菜单、路边广告牌、书本封面、收据单据——这些生活中随处可见的图像，对AI来说都是极大的挑战。

现有的做法大致是：从网上大量抓取图片，用一套固定规则筛选出合格的，然后把这些合格图片打包成训练数据集，从此再也不碰。被筛掉的那些图片——因为文字模糊、内容对不上、排版混乱等原因被刷下来的——全都直接丢进垃圾桶。

研究者注意到一个奇怪现象：这个“扔东西”的动作本身，浪费了大量有价值的信息。那些被淘汰的图片虽然不能直接用来训练AI，但它们携带着非常具体的失败信号——比如，某一类搜索词条总是带来内容对不上主题的图片，某一类场景总是导致文字无法识别，某些图片格式总是反复出现重复内容。这些信号如果被认真分析，完全可以指导下一轮数据收集，让搜索更精准、更有针对性。

更麻烦的是，因为没有反馈机制，数据收集的策略从不会改变。这就像一个厨师每次备料都从同一家货摊进货，买来的菜每次都有一部分烂掉，但他从不去想“为什么这家摊子的菜总是坏的”，只是默默把烂菜扔掉，然后继续回那家摊子买菜。DataEvolver要解决的，就是让这个厨师开始思考、开始改变进货策略。

二、四个角色组成的“自我改进工厂”

DataEvolver的设计，可以理解成一个连续运转的工厂。这家工厂里有四个工种，各司其职，但更重要的是，它们之间形成了一个闭环——最后一道工序的结果，会反过来指导第一道工序如何改进。

第一个工种叫检索员。检索员的任务是根据当前的计划，去互联网上搜集候选图片。和普通搜索不同的是，检索员使用的搜索词条不是固定的，而是会随着工厂积累的经验不断更新。它会针对不同的主题和子主题生成专门的搜索模板，尽量保证搜来的图片既相关又多样。每张图片都会被贴上标签，记录它来自哪个主题、用了哪个搜索词条、从哪个来源获取，以便后续分析。

第二个工种叫核查员。检索员送来的候选图片不能直接用，核查员需要对每一张图片进行多角度质量检验。核查员首先会对图片进行OCR扫描，也就是让计算机“读”出图片里的文字，看看文字是否清晰可识别。接着，它会用感知哈希技术去掉几乎一模一样的重复图片，然后分别评估图片的视觉质量、文字识别质量，以及图片内容和预定主题之间的语义匹配程度。只有三项都过关的图片，才会被放进合格数据集。

但核查员的工作不止于此。它还要把所有被淘汰图片的淘汰原因详细记录下来，汇总成一份“本轮失败报告”，包括本轮通过率、平均文字识别质量分、平均语义一致性分、各种失败原因的具体数量——模糊的有多少张，OCR识别失败的有多少张，内容对不上的有多少张，等等。这份报告是整个反馈机制的原材料。

第三个工种叫批评家，这是整个系统最关键的角色。批评家收到核查员的失败报告之后，不会只看数字，而是要把这些数字背后的模式用自然语言说清楚。比如，它会指出“这一轮有278张图片因为感知哈希重复被淘汰，其中一个搜索词条出现了15次，说明这个词条的搜索结果高度重复，下一轮需要增加搜索词条的多样性，要求不同的排版风格、配色方案、字体类型和发行机构”。这种将数字翻译成可操作建议的能力，是批评家的核心价值。

批评家还维护着一个“经验库”，把历轮积累的有效反馈和高质量搜索词条保存下来，既方便复用，又防止重复累积类似内容。这个经验库相当于工厂的操作手册，每一轮之后都会更新一版。

第四个工种叫生成员。检索员再努力，互联网上也总有一些主题的图片天然稀少——比如某种特定格式的合同、某种小众语言的菜单、某种罕见的文字排版风格。如果只靠搜索，这些主题永远凑不够数量。生成员的任务就是针对这些“覆盖不足”的区域，直接生成合成图片来补充。生成员会计算当前数据集中每个主题和子主题的覆盖数量，找出明显低于平均水平的区域，然后针对这些区域生成专门的描述提示词，驱动图像生成模型来合成图片。生成出来的图片同样要经过核查员的全套检验，不合格的也会被记录进失败报告，供批评家进一步分析。

这四个工种周而复始地运转，每一轮结束后，批评家汇总的反馈都会更新检索员的搜索策略和生成员的生成提示词，让下一轮的数据质量更好一点点。随着轮次增加，这家工厂的出品质量也在持续提升。

三、把“失败记录”变成“改进指令”的具体过程

论文中有一个非常具体的例子，能清楚地展示这套反馈机制怎么运作。

某一轮数据收集中，检索员使用了一个叫“高分辨率汽车修理账单或水电费账单”的搜索词条。核查员发现，这个词条带来了大量几乎一模一样的重复图片，一共有278张因为重复被淘汰。批评家分析这份报告后，把问题总结成了一段自然语言指导：“这个词条的搜索结果高度重复，下一轮应当通过要求不同的排版风格、配色方案、书写形式（手写与打印）以及不同的发行机构来增加多样性。”

带着这段指导，下一轮的检索员拿到了更新后的搜索策略。结果，重复导致的淘汰数量从278张降到了148张，效果相当明显。这就是整个反馈机制最直观的体现：不是凭经验猜测哪里出了问题，而是从失败记录中精准定位问题，然后给出具体的改进方向。

这套机制还体现在更宏观的层面。研究团队追踪了不同构建阶段的淘汰原因分布，发现这个分布会随着时间推移而改变：早期阶段，重复图片和基本的图像质量问题占主导；到了中期和后期，这些“容易的问题”逐渐减少，剩下的失败越来越集中在更难处理的视觉质量问题和文字一致性问题上。这个变化说明，系统确实在持续学习，而不是在原地踏步。失败记录中藏着的是有规律的结构性信息，而不是随机的噪声。

四、实验是怎么做的，结果有多好

为了验证DataEvolver的效果，研究团队设计了一套严格的对比实验。核心原则是“相同数据量”：同样是100万张训练图片，用DataEvolver构建的数据集和现有的公开数据集（MARIO-10M和AnyWord-3M的等量子集）分别拿来训练同一个图像生成模型，然后在同样的测试基准上比较谁训练出来的模型更好。

测试用了两个基准：TextScenesHQ，专注于场景级别的文字渲染质量；LongTextBench，专注于更长的文字内容和更复杂的文字排版场景。评估模型用了两个：PixArt-α，一个基于扩散变换器架构的图像生成模型；Show-o2，一个更新的统一多模态模型。

衡量标准中，最核心的是OCR-F1分数。这个分数综合了“精确率”（生成图片里识别到的文字有多少是正确的）和“召回率”（应该出现的文字有多少实际上被正确生成并识别了），两者的调和平均就是F1分数。还有CLIP分数用于衡量图片和文字描述的语义对应程度，以及FID分数用于衡量生成图片的视觉真实性。

在最大规模的75万张数据预算下，用PixArt-α进行测试，DataEvolver在TextScenesHQ上的OCR-F1从最强基线的4.56提升到了8.45，提升幅度约85%；在LongTextBench上从6.71提升到了9.08，提升幅度约35%。换成Show-o2来测试，DataEvolver在TextScenesHQ上的OCR-F1从0.19提升到了0.45，在LongTextBench上从0.27提升到了0.44。这说明DataEvolver构建出来的数据质量提升，并不依赖于某一个特定的下游模型——换个模型来训练，同样能获益。

值得一提的是，CLIP分数并不总是跟OCR-F1朝同一个方向变化，这在研究者的预期之内。全局语义对应和文字清晰可读是两件不同的事，一张图片可以在整体语义上非常准确，同时文字部分一塌糊涂，反之亦然。DataEvolver主要优化的是文字渲染质量，所以在OCR类指标上的提升最为显著。

从不同数据规模来看，DataEvolver的优势从10万张数据时就已经存在，而且随着数据量增加，它与基线方法之间的差距还在持续扩大。10万张时，DataEvolver的OCR-F1就已经是MARIO基线的三倍左右；到了75万张时，差距进一步拉大。这个趋势说明，反馈驱动的构建机制在数据量增长时能持续发挥作用。

五、拆掉批评家或生成员，会发生什么

为了弄清楚批评家和生成员各自贡献了多少，研究团队做了拆解实验。他们分别去掉其中一个，看看性能变化。

去掉批评家之后，OCR-F1在TextScenesHQ上从1.78跌到1.01，在LongTextBench上从2.16跌到0.90，下降幅度相当大。这说明单纯收集数据、过滤数据，但不把失败原因转化为策略调整，是远远不够的。核查员知道有多少图片因为什么原因被淘汰，但它自己不会去改变搜索策略；批评家负责把这些失败转化为可执行的改进指令，没有它，历史失败就真的成了垃圾。

去掉生成员之后，性能也有所下降，TextScenesHQ的OCR-F1跌到1.40，LongTextBench跌到1.37，但下降幅度比去掉批评家要小一些。这说明生成员主要解决的是覆盖范围问题——那些在互联网上天然稀少的主题，如果不主动合成，数据集就会有盲区；而批评家解决的是方向问题，更为根本。

研究团队还统计了三种配置在构建阶段的内部质量指标。完整版DataEvolver的通过率是0.671，平均OCR置信度是0.938，主题覆盖率是0.961。去掉批评家的版本通过率跌至0.532，OCR置信度跌至0.861，覆盖率0.935。去掉生成员的版本通过率0.608，OCR置信度0.914，覆盖率0.818。这组数据说明，DataEvolver的优势不是在最终测试时才体现出来的，而是在数据构建过程本身就已经形成了。

研究团队还测试了批评家使用不同规模模型的影响。在同等条件下，把批评家从Qwen3.5-4B换成Qwen3.5-35B（参数量更大的版本），OCR-F1从0.75提升到了1.14，提升幅度明显。这说明批评家的能力越强，它能从失败记录中提炼出的建议就越有价值，整个反馈链的质量也就越高。

六、构建出来的数据集多样性如何

有一个合理的担忧：DataEvolver会不会只是把数据质量集中在少数几个“容易处理”的主题上，而忽略了其他主题？如果数据集虽然OCR质量高，但覆盖范围很窄，那训练出来的模型也只会在少数场景下表现好。

为了检验这一点，研究团队定义了一套包含33个细分类别的文字丰富图像分类体系，横跨四大群组：文件与记录类（证书、合同、税表、简历等）、商业与交易类（发片、菜单、收据、包装标签等）、印刷与公共文字类（海报、书籍、研究论文、路牌等）、数字与社交媒体类（网页截图、社交媒体帖子、表情包等）。他们用同一个零样本分类器，对DataEvolver和两个基线数据集同等处理，然后计算“类别覆盖率”（有多少比例的分类达到一定数量）和“长尾覆盖率”（最不频繁的十个类别加起来占多少比例）。

结果显示，DataEvolver的类别覆盖率是96.97%，而MARIO是90.91%，AnyWord是78.79%。DataEvolver的长尾覆盖率是2.45%，MARIO是1.76%，AnyWord是0.61%。DataEvolver不只是在常见类别上表现更好，那些本来容易被忽视的边缘类别，也因为生成员的主动补充而获得了更好的覆盖。

归根结底，DataEvolver这项研究的意义不只是让某个AI模型的文字生成能力提升了几个百分点。它揭示的是一种更普遍的思路：数据收集这件事本身，可以像一个有学习能力的系统一样运作，而不只是一条僵硬的流水线。每一次失败，都是下一次改进的素材。那些原本被直接丢进垃圾桶的“废品”，其实是最真实的反馈——它们告诉你哪里出了问题，只要有人愿意去听。

当然，这套方案也有它目前做不到的地方。研究者坦承，他们的数据规模实验还不够多，目前得到的只能叫“趋势”，还不足以建立严格的数学规律。整套系统的质量高度依赖核查员的可靠性，如果OCR识别出错、语义评分不准、图像质量判断有偏差，这些错误都会被传递进反馈链，影响后续决策。此外，目前这套方案专门针对文字丰富图像这一类场景，能不能推广到其他多模态任务，还有待进一步探索。

说到底，这项研究做的事情，类似于把一个“只会扔掉坏菜”的厨师，改造成了一个“会从坏菜里总结进货规律、下次去更好的摊子”的厨师。进步不在于一次买到了更好的菜，而在于进货的方式本身变得越来越聪明。对于AI训练数据这件事来说，这种思路的转变，可能比某一个特定数据集的质量提升更值得关注。有兴趣深入了解技术细节的读者，可以通过arXiv编号2606.31537查阅完整论文。

Q&A

Q1：DataEvolver和现有数据集比，到底好在哪里？

A：DataEvolver最大的不同在于它的“自我改进”机制。现有数据集（比如MARIO和AnyWord）是一次性收集、过滤、打包，之后就固定不变了。DataEvolver则通过批评家把每轮被淘汰图片的失败原因转化为具体改进建议，指导下一轮搜索和生成，越用越聪明。在同等数据量下，它在文字渲染质量上的提升非常明显，例如75万数据规模下OCR-F1提升幅度超过85%。

Q2：DataEvolver里的批评家（Critic）具体是怎么工作的？

A：批评家是一个语言模型，它接收每轮数据构建后核查员汇总的失败统计，包括各类淘汰原因的数量、哪些搜索词条带来了大量重复图片等，然后把这些数字翻译成自然语言建议，比如“下一轮需要增加词条多样性，要求不同排版风格和发行机构”。这些建议会直接更新下一轮的搜索策略和图片生成提示词，形成一个持续改进的闭环。

Q3：DataEvolver生成的数据会不会只覆盖少数主题、忽略冷门场景？

A：不会，这正是生成员（Generator）存在的意义。系统会实时计算每个主题的当前数量，发现覆盖不足的主题时，主动合成补充图片。从实验结果来看，DataEvolver的33类场景覆盖率达到96.97%，高于MARIO的90.91%和AnyWord的78.79%，冷门类别的覆盖比例也更高，说明它确实在主动填补分布空缺。