学习ChatGPT，AI绘画引入人类反馈会怎样？
最近，深度生成模型在根据文本prompt生成高质量图像方面取得了显著成功，部分原因在于深度生成模型扩展到了大规模网络数据集（如LAION）。但是，一些重大挑战依然存在，因而大规模文本到图像模型无法生成与文本prompt完全对齐的图像。举例而言，当前的文本到图像模型往往无法生成可靠的视觉文本，并在组合式图像生成方面存在困难。回到语言建模领域，从人类反馈中学习已经成为一种用来「对齐模型行为与人类意图」的强大解决方案。这类方法通过人类对模型输出的反馈，首先学习一个旨在反映人类在任务中所关心内容的奖励函
最近，深度生成模型在根据文本 prompt 生成高质量图像方面取得了显著成功，部分原因在于深度生成模型扩展到了大规模网络数据集（如 LAION）。但是，一些重大挑战依然存在，因而大规模文本到图像模型无法生成与文本 prompt 完全对齐的图像。举例而言，当前的文本到图像模型往往无法生成可靠的视觉文本，并在组合式图像生成方面存在困难。
回到语言建模领域，从人类反馈中学习已经成为一种用来「对齐模型行为与人类意图」的强大解决方案。这类方法通过人类对模型输出的反馈，首先学习一个旨在反映人类在任务中所关心内容的奖励函数，然后通过一种强化学习算法（如近端策略优化 PPO）使用学得的奖励函数来优化语言模型。这种带有人类反馈框架的强化学习（RLHF）已经成功地将大规模语言模型（例如 GPT-3）与复杂的人类质量评估结合起来。
近日，受 RLHF 在语言领域的成功，谷歌研究院和加州伯克利的研究者提出了使用人类反馈来对齐文本到图像模型的微调方法。
论文地址：https://arxiv.org/pdf/2302.12192v1.pdf
本文方法如下图 1 所示，主要分为 3 个步骤。
第一步：首先从「设计用来测试文本到图像模型输出对齐的」一组文本 prompt 中生成不同的图像。具体地，检查预训练模型更容易出错的 prompt—— 生成具有特定颜色、数量和背景的对象，然后收集用于评估模型输出的二元人类反馈。
第二步：使用了人工标记的数据集，训练一个奖励函数来预测给定图像和文本 prompt 的人类反馈。研究者提出了一项辅助任务，在一组扰动文本 prompt 中识别原始文本 prompt，以更有效地将人类反馈用于奖励学习。这一技术改进了奖励函数对未见过图像和文本 prompt 的泛化表现。
第三步：通过奖励加权似然最大化更新文本到图像模型，以更好地使它与人类反馈保持一致。与之前使用强化学习进行优化的工作不同，研究者使用半监督学习来更新模型，以测量模型输出质量即学得的奖励函数。
研究者使用带有人类反馈的 27000 个图像 - 文本对来微调 Stable Diffusion 模型，结果显示微调后的模型在生成具有特定颜色、数量和背景的对象方面实现显著提升。图像 - 文本对齐方面实现了高达 47% 的改进，但图像保真度略有下降。
此外，组合式生成结果也得到了改进，即在给定未见过颜色、数量和背景 prompt 组合时可以更好地生成未见过的对象。他们还观察到，学得的奖励函数比测试文本 prompt 上的 CLIP 分数更符合人类对对齐的评估。
不过，论文一作 Kimin Lee 也表示，本文的结果并没有解决现有文本到图像模型中所有的失效模型，仍存在诸多挑战。他们希望这项工作能够突出从人类反馈中学习在对齐文生图模型中的应用潜力。
方法介绍
为了将生成图像与文本 prompt 对齐，该研究对预训练模型进行了一系列微调，过程如上图 1 所示。首先从一组文本 prompt 中生成相应的图像，这一过程旨在测试文生图模型的各种性能；然后是人类评分员对这些生成的图像提供二进制反馈；接下来，该研究训练了一个奖励模型来预测以文本 prompt 和图像作为输入的人类反馈；最后，该研究使用奖励加权对数似然对文生图模型进行微调，以改善文本 - 图像对齐。
人类数据收集
为了测试文生图模型的功能，该研究考虑了三类文本 prompt：指定数量（specified count）、颜色、背景。对于每个类别，该研究对每个描述该物体的单词或短语两两进行组合来生成 prompt，例如将绿色（颜色）与一只狗（数量）组合。此外，该研究还考虑了三个类别的组合（例如，在一个城市中两只染着绿颜色的狗）。下表 1 更好的阐述了数据集分类。每一个 prompt 会被用来生成 60 张图像，模型主要为 Stable Diffusion v1.5 。
人类反馈
接下来对生成的图像进行人类反馈。由同一个 prompt 生成的 3 张图像会被呈递给打标签人员，并要求他们评估生成的每幅图像是否与 prompt 保持一致，评价标准为 good 或 bad。由于这项任务比较简单，用二元反馈就可以了。
奖励学习
为了更好的评价图像 - 文本对齐，该研究使用奖励函数
来衡量，该函数可以将图像 x 的 CLIP 嵌入和文本 prompt z 映射到标量值。之后其被用来预测人类反馈 k_y ∈ {0, 1} (1 = good, 0 = bad) 。
从形式上来讲，就是给定人类反馈数据集 D^human = {(x, z, y)}，奖励函数
通过最小化均方误差 (MSE) 来训练：
此前，已经有研究表明数据增强方法可以显着提高数据效率和模型学习性能，为了有效地利用反馈数据集，该研究设计了一个简单的数据增强方案和奖励学习的辅助损失（auxiliary loss）。该研究在辅助任务中使用增强 prompt，即对原始 prompt 进行分类奖励学习。Prompt 分类器使用奖励函数，如下所示：
辅助损失为：
最后是更新文生图模型。由于模型生成的数据集多样性是有限的，可能导致过拟合。为了缓解这一点，该研究还最小化了预训练损失，如下所示：
实验结果
实验部分旨在测试人类反馈参与模型微调的有效性。实验用到的模型为 Stable Diffusion v1.5 ；数据集信息如表 1（参见上文）和表 2 所示，表 2 显示了由多个人类标签者提供的反馈分布。
人类对文本 - 图像对齐的评分（评估指标为颜色、物体数量）。如图 4 所示，本文方法显著提高了图像 - 文本对齐，具体来说，模型生成的图像中有 50% 的样本获得至少三分之二的赞成票（投票数量为 7 票或更多赞成票），然而，微调会稍微降低图像保真度（15% 比 10%）。
图 2 显示了来自原始模型和本文经过微调的对应模型的图像示例。可以看到原始模型生成了缺少细节（例如，颜色、背景或计数）的图像（图 2 (a)），本文模型生成的图像符合 prompt 指定的颜色、计数和背景。值得注意的是，本文模型还能生成没有见过的文本 prompt 图像，并且质量非常高（图 2 (b)）。
奖励学习的结果。图 3 (a) 为模型在见过的文本 prompt 和未见文本 prompt 中的评分。有奖励（绿色）比 CLIP 分数（红色）更符合典型的人类意图。
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，