从马赛克到高清图，AI生图能力变强了，如何取得美感与失真的平衡

要将内容重写为中文，而不改变原本的意思，需要出现的语言是中文

需要重新写作的内容是：编辑：罗姆 罗姆

让图像看起来更好的 AI 工具，往往会导致图像失真，而让图像看起来更真实时，往往会缺少美感，这一问题该如何权衡？

在悬疑和科幻作品中，我们经常能看到这样的场景：计算机屏幕上显示出一张模糊的照片，然后调查人员要求增强图像，然后图像就神奇的变得清晰，揭示出重要线索。

这看起来很棒，但其实几十年来这一直是完全虚构的情节。即使在 AI 生成能力开始增长的一段时间内也很难做到：「如果你只是单纯地将图像放大，它会变得模糊。确实会有很多细节，但都是错误的，」英伟达应用深度学习研究副总裁 Bryan Catanzaro 说道。

最近，研究人员开始将AI算法应用于图像增强工具，以使该过程更加简便和强大。然而，从任何图像中检索的数据仍然存在一些限制。不过，随着研究人员不断推动增强算法的发展，他们正在寻找应对这些限制的新方法，甚至已经找到了克服这些限制的方法

过去十年，研究人员开始使用生成对抗网络（GAN）模型来增强图像，这种模型能够生成详细而令人印象深刻的图片。

以色列特奥尼恩理工学院的电气工程师 Tomer Michaeli 表示：「图像突然变得好看多了。」但他同时惊讶地发现，由 GAN 生成的图像显示出很高的失真水平，失真水平衡量了增强图像与所显示的底层现实之间的接近程度。GAN 生成的图像看起来漂亮自然，但实际上它们在「虚构」或「幻想」那些不准确的细节，这导致了高度的失真。

Michaeli 观察到照片修复领域分为两大类：一种展示了漂亮的图片，其中许多是由 GAN 生成的。另一种展示了数据，但没有展示很多图片，因为看起来不好看。

2017年，Michaeli和他的研究生Yochai Blau进行了一项研究，正式探究了各种图像增强算法在失真和感知质量方面的表现。他们使用了与人类主观判断相关的感知质量已知度量。正如Michaeli所预期的那样，一些算法的视觉质量非常高，而其他一些算法则在失真方面表现很低。然而，没有一个算法能够同时具备这两种优势，必须在两者之间做出选择。这被称为感知失真权衡

Michaeli向其他研究人员发起挑战，要求他们提出在给定失真水平下能够产生最佳图像质量的算法，以便公平比较漂亮图片算法和良好统计数据算法之间的差异。自那时以来，数百名AI研究人员提出了他们的算法，包括失真和感知质量，并引用了Michaeli和Blau的论文来描述这种权衡

有时感知失真权衡的影响并不可怕。例如，英伟达发现高清屏幕不能很好地渲染一些低清视觉内容，因此在 2023 年 2 月份推出了一款使用深度学习来提升流媒体视频画质的工具。在这种情况下，英伟达的工程师选择了感知质量而不是准确性，他们接受了这样一个事实，即当算法提升视频分辨率时，它会生成一些原始视频中没有的视觉细节。

「模型是在进行幻想。这完全是猜测，」Catanzaro 说道。「超分辨率模型大部分时间猜错都没关系，只要是一致的就行。」

小鼠大脑血流的视图（左）以及使用 AI 工具提高图像质量和准确性后得到的相同视图。图源：杜克大学 Junjie Yao、Xiaoyi Zhu 。

特别是，研究和医学领域的应用会要求更高的准确性。AI 技术在成像方面取得了重大进展，但杜克大学的生物医学工程师 Junjie Yao 表示：「它有时会带来不希望的副作用，比如过度拟合或添加虚假特征，因此需要极其谨慎地对待。」

去年，他在论文中描述了如何利用 AI 工具改进现有的大脑血流和新陈代谢测量方法，同时在感知失真权衡的准确一侧安全运行。

一种绕过从图像中提取数据数量限制的方法是简单地合并来自更多图像的数据。在之前的研究中，通过卫星图像研究环境的研究人员已经在整合不同来源的视觉数据方面取得了一些进展。例如，在2021年，中国和英国的研究人员将来自两种不同类型卫星的数据融合在一起，以更好地观察刚果盆地的森林砍伐情况。刚果盆地是世界上第二大热带雨林，也是生物多样性最丰富的地区之一。研究人员获取了两颗Landsat卫星的数据，这些卫星数十年来一直在测量森林砍伐情况，并使用深度学习技术将图像的分辨率从30米提高到10米。然后，他们将这组图像与两颗Sentinel-2卫星的数据融合在一起，这些卫星具有稍有不同的探测器阵列。他们的实验表明，这种综合图像能够比单独使用Sentinel-2或Landsat-7/8图像时检测到11%至21%更多的受干扰区域

如果不能直接突破，Michaeli 提出了另一种硬性限制信息可获取性的方法。与其就如何增强低质量图像寻求确定的答案，不如让模型展示对原始图像的多种不同解释。在论文《Explorable Super Resolution》中，他展示了图像增强工具如何向用户提供多个建议。一个模糊的、低分辨率的穿着似乎是灰色衬衫的人的图像可以被重建成更高分辨率的图像，在这个图像中，衬衫可以是黑白垂直条纹、水平条纹或格子，所有这些都同样合理。

在另一个例子中，Michaeli拍摄了一张质量较低的车牌照片，并使用AI图像增强处理。结果显示车牌上的数字1看起来更像是0。然而，当图像经过Michaeli设计的不同且更加开放的算法处理时，这个数字看起来可能是0、1或8。这种方法可以帮助排除其他数字，而不会错误地得出该数字是0的结论

我们可以减轻这些错觉，但是那个强大的、解决犯罪的「增强」按钮仍然只是一个梦想

在各个领域中，不同学科以各自的方式对感知失真权衡进行了探讨。从AI图像中能够提取多少信息，以及能够信任这些图像的程度仍然是一个核心问题

「我们应该牢记，为了输出这些漂亮的图像，算法只是编造了细节，」Michaeli 说道。

重写内容时，需要将语言改写为中文，不需要出现原始句子

需要重新写的内容是：https://www.quantamagazine.org/the-ai-tools-making-images-look-better-20230823/