从马赛克到高清图，AI生图能力变强了，但如何取得美感与失真的平衡？
如何在AI工具中权衡图像的美观和真实性是一个重要问题。许多AI工具在提升图像美观度时会导致图像失真，而在追求图像真实性时则可能缺乏美感。我们需要寻找一种平衡，使得图像既能看起来更好，又能保持一定的真实性。这需要深入研究和不断优化AI算法，以找到最佳的解决方案在悬疑和科幻作品中，我们经常能看到这样的情节：计算机屏幕上显示着一张模糊的照片，然后调查人员要求增强图像，随后图像神奇地变得清晰，揭示出重要的线索重写后的内容：这看起来很不错，但实际上几十年来这一直是完全虚构的情节。即使在AI生成能力开始增长的一段时间
如何在AI工具中权衡图像的美观和真实性是一个重要问题。许多AI工具在提升图像美观度时会导致图像失真，而在追求图像真实性时则可能缺乏美感。我们需要寻找一种平衡，使得图像既能看起来更好，又能保持一定的真实性。这需要深入研究和不断优化AI算法，以找到最佳的解决方案
在悬疑和科幻作品中，我们经常能看到这样的情节：计算机屏幕上显示着一张模糊的照片，然后调查人员要求增强图像，随后图像神奇地变得清晰，揭示出重要的线索
重写后的内容：这看起来很不错，但实际上几十年来这一直是完全虚构的情节。即使在AI生成能力开始增长的一段时间内也很难做到：“如果你只是简单地将图像放大，它会变得模糊。确实会有很多细节，但都是错误的。”英伟达应用深度学习研究副总裁Bryan Catanzaro说道
然而，近期研究人员开始将人工智能算法应用于图像增强工具，以使该过程更加简单和强大。尽管如此，从图像中检索的数据仍然存在一些限制。然而，随着研究人员不断推动增强算法的发展，他们正在寻找新的方法来应对这些限制，并且甚至已经找到了克服这些限制的方法
在过去的十年里，研究人员开始采用生成对抗网络（GAN）模型来提升图像质量。这种模型能够生成细致而令人印象深刻的图片
以色列特奥尼恩理工学院的电气工程师Tomer Michaeli表示：“图像突然变得好看多了。”然而，他同时惊讶地发现，由GAN生成的图像显示出很高的失真水平。失真水平衡量了增强图像与所显示的底层现实之间的接近程度。GAN生成的图像看起来漂亮自然，但实际上它们在“虚构”或“幻想”那些不准确的细节，这导致了高度的失真
Michaeli 观察到照片修复领域分为两大类：一种展示了漂亮的图片，其中许多是由 GAN 生成的。另一种展示了数据，但没有展示很多图片，因为看起来不好看。
2017 年，Michaeli 和他的研究生 Yochai Blau 更正式地探究了各种图像增强算法在失真与感知质量上的表现，使用了与人类主观判断相关的感知质量已知度量。正如 Michaeli 所预期的，一些算法的视觉质量非常高，而其他一些算法非常准确，失真很低。但是没有一个同时具备这两种优势，你必须选择其中之一。这被称为感知失真权衡。
Michaeli 还向其他研究人员发起挑战，要求他们提出能够在给定失真水平下产生最佳图像质量的算法，以便在漂亮图片算法和良好统计数据算法之间进行公平比较。从那时起，数百名 AI 研究人员提出了他们的算法的失真和感知质量，并引用了描述这种权衡的 Michaeli 和 Blau 的论文。
有时感知失真权衡的影响并不可怕。例如，英伟达发现高清屏幕不能很好地渲染一些低清视觉内容，因此在 2023 年 2 月份推出了一款使用深度学习来提升流媒体视频画质的工具。在这种情况下，英伟达的工程师选择了感知质量而不是准确性，他们接受了这样一个事实，即当算法提升视频分辨率时，它会生成一些原始视频中没有的视觉细节。
「模型是在进行幻想。这完全是猜测，」Catanzaro 说道。「超分辨率模型大部分时间猜错都没关系，只要是一致的就行。」
小鼠大脑血流的视图（左）以及使用 AI 工具提高图像质量和准确性后得到的相同视图。图源：杜克大学 Junjie Yao、Xiaoyi Zhu 。
特别是，研究和医学领域的应用会要求更高的准确性。AI 技术在成像方面取得了重大进展，但杜克大学的生物医学工程师 Junjie Yao 表示：「它有时会带来不希望的副作用，比如过度拟合或添加虚假特征，因此需要极其谨慎地对待。」
他在去年的论文中详细描述了如何利用人工智能工具来改进现有的大脑血流和新陈代谢测量方法，并确保在权衡感知失真的准确性方面能够安全运行
绕过从图像中提取多少数据的限制的一种方法是简单地合并来自更多图像的数据。此前，通过卫星图像研究环境的研究人员已经在整合不同来源的视觉数据方面取得了一些进展：在 2021 年，中国和英国的研究人员将来自两种不同类型卫星的数据融合在一起，以更好地观察刚果盆地的森林砍伐情况。刚果盆地是世界上第二大热带雨林，也是生物多样性最丰富的地区之一。研究人员获取了两颗 Landsat 卫星的数据，这些卫星数十年来一直在测量森林砍伐情况，并使用深度学习技术将图像的分辨率从 30 米提高到 10 米。然后，他们将这组图像与两颗 Sentinel-2 卫星的数据融合在一起，这些卫星具有稍有不同的探测器阵列。他们的实验表明这种综合图像「使得比单独使用 Sentinel-2 或 Landsat-7/8 图像时能够检测到 11% 至 21% 更多的受干扰区域」。
如果无法直接突破，Michaeli提出了另一种硬性限制信息可获取性的方法。与其寻求确定的答案来增强低质量图像，不如让模型展示对原始图像的多种不同解释。在《可探索的超分辨率》论文中，他展示了图像增强工具如何向用户提供多个建议。一个模糊、低分辨率的穿着似乎是灰色衬衫的人的图像可以被重建成更高分辨率的图像，而在这个图像中，衬衫可以是黑白垂直条纹、水平条纹或格子，所有这些都同样合理
在另一个例子中，Michaeli 拍摄了一张低质量的车牌照片，并使用 AI 图像增强处理，结果显示车牌上的数字 1 最像是 0。但当图像经过 Michaeli 设计的不同的、更加开放式的算法处理时，这个数字看起来同样有可能是 0、1 或 8。这种方法可以帮助排除其他数字，而不会错误地得出这个数字是 0 的结论。
我们可以减轻这些幻觉，但是那个强大的、解决犯罪的「增强」按钮仍是一个梦想。
在各个领域中，不同学科以各自的方式探讨感知失真的权衡。核心问题是在人工智能图像中能够提取多少信息，以及对这些图像的可信度有多高
「我们应该牢记，为了输出这些漂亮的图像，算法只是编造了细节，」Michaeli 说道。
原文链接：https://www.quantamagazine.org/the-ai-tools-making-images-look-better-20230823/
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。