引入全新的GIF框架：以人类为榜样，数据集扩增的新范式已经到来
论文链接：https://browse.arxiv.org/pdf/2211.13976.pdfGitHub：https://github.com/Vanint/DatasetExpansion众所周知，深度神经网络的性能很大程度上依赖于训练数据的数量和质量，这使得深度学习难以广泛地应用在小数据任务上。例如，在医疗等领域的小数据应用场景中，人力收集和标注大规模的数据集往往费时费力。为了解决这一数据稀缺问题并最小化数据收集成本，该论文探索了一个数据集扩增新范式，旨在自动生成新数据从而将目标任务的小数据集扩充
- 论文链接：https://browse.arxiv.org/pdf/2211.13976.pdf
- GitHub：https://github.com/Vanint/DatasetExpansion
众所周知，深度神经网络的性能很大程度上依赖于训练数据的数量和质量，这使得深度学习难以广泛地应用在小数据任务上。例如，在医疗等领域的小数据应用场景中，人力收集和标注大规模的数据集往往费时费力。为了解决这一数据稀缺问题并最小化数据收集成本，该论文探索了一个数据集扩增新范式，旨在自动生成新数据从而将目标任务的小数据集扩充为更大且更具信息量的大数据集。这些扩增后的数据集致力于提升模型的性能和泛化能力，并能够用于训练不同的网络结构
该工作发现只是利用现存方法无法很好地扩充数据集。（1）随机数据增强主要改变图片的表面视觉特征，但不能创造具有新物体内容的图片（如下图的荷花依然是同一个，没有新荷花的生成），因此所引入的信息量有限。更为严重的是，随机数据增强可能会裁剪医学图像的病灶（变）位置，导致样本的重要信息减少，甚至产生噪声数据。（2）直接利用预训练的生成（扩散）模型进行数据集扩增也不能很好地提升模型在目标任务上的性能。这是因为这些生成模型的预训练数据往往与目标数据存在较大的分布差异，这导致它们所生成的数据与目标任务存在一定的分布和类别差距，无法确保所生成的样本带有正确的类别标签且对模型训练有益。
为了更有效地进行数据集扩增，研究人员探索了人类的联想学习。当人类拥有物体的先验知识时，可以轻松地想象出该物体的不同变体，例如下图中狗子在不同种类、不同颜色、不同形状或不同背景下的变体。这种想象学习的过程对于数据集扩增非常有启发性，因为它不仅仅是简单地扰动图片中动物体的外观，而是应用了丰富的先验知识来创建具有新信息量的变体图片
然而，我们无法直接建模人类作为先验模型来进行数据想象。但幸运地是，近期的生成模型（如 Stable Diffusion，DALL-E2）已经展现了强大的拟合大规模数据集分布的能力，能够生成内容丰富且逼真的图片。这启发了该论文使用预训练的生成模型作为先验模型，利用它们强大的先验知识来对小数据集进行高效地数据联想和扩增。
基于上述想法，该工作提出了一个新的指导式想象扩增框架（Guided Imagination Framework, GIF）。该方法能够有效提升深度神经网络在自然和医疗图片任务上的分类性能和泛化能力，并极大地减少因人工数据收集和标注所带来的巨大成本。同时，所扩增的数据集也有助于促进模型的迁移学习，并缓解长尾问题。
接下来让我们看看，这一数据集扩增新范式是怎么设计的。
方法
数据集扩增的挑战和指导标准 设计数据集扩增方法会有两个关键挑战：（1）如何使生成的样本带有正确的类别标签？（2）如何确保生成的样本带有新的信息量，从而促进模型训练？为了解决这两个挑战，该工作通过大量的实验发现了两个扩增指导标准：（1）类别一致的信息增强；（2）样本多样性提升。
方法框架 基于所发现扩增指导标准，该工作提出了指导式想象扩增框架（GIF）。对于每个输入的种子样本 x，GIF 首先利用先验生成模型的特征提取器提取样本特征 f，并对该特征进行噪音扰动:
。设置噪音(z,b)最简单的方式是采用高斯随机噪声，但是它无法确保所生成的样本具有正确的类别标签并带来更多的信息量。因此，为了进行有效的数据集扩增，GIF 基于其发现的扩增指导标准对噪声扰动进行优化，即
。
所用到的扩增指导标准实现如下。类一致的信息量指标：
；样本多样性指标：
。通过最大化这两个指标，GIF 能够有效优化噪声扰动，从而生成既保持类别一致性，又带来更大信息量的样本。
实验
扩增有效性 GIF 具有更强的扩增有效性：GIF-SD 在 6 个自然数据集上平均提高了 36.9% 分类精度，并在 3 个医疗数据集上平均提高了 13.5% 分类精度。
扩增效率 GIF 具有更强的扩增有效率：在 Cars 和 DTD 数据集上，使用 GIF-SD 进行 5 倍扩增的效果甚至超过了使用随机数据增强进行 20 倍扩增的效果。
可视化结果 现有的数据增强方法无法生成新的图像内容，而 GIF 可以较好地生成带有新内容的样本。
现有的增强方法可能会削减医学图像中病变位置，导致样本信息减少并产生噪声，而GIF可以更好地保留它们的类别语义
计算和时间成本 与人工数据收集和标注相比，GIF 能够极大地降低数据集扩增的时间和成本。
扩增数据的通用性 一旦完成扩增，这些数据集可以直接用于训练各种不同的神经网络模型结构。
提升模型泛化能力 GIF 有助于提升模型的分布外泛化性能（OOD generalization）。
缓解长尾问题 GIF 有助于缓解长尾问题。
安全性检测 GIF 生成的图像是安全且无害的。
基于上述实验结果，我们有理由相信通过模拟人类的类比与想象学习，该论文所设计的方法能够有效地扩增小数据集，从而提升深度神经网络在小数据任务场景上的落地和应用。
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，