美图AI局部涂改技术解密！改变你想要的样子！美图局部涂改让你自由发挥
最近，“AI扩图”功能以其突如其来的扩大效果引发了轰动，其滑稽而又有趣的自动填充结果频频走红，在网络上掀起了热潮。用户们积极尝试这一功能，其180度的巨大转变也让人们感叹不可思议，话题热度持续攀升。在引发笑声和热情的同时，也意味着人们不断关注着AI是否能够真正帮助他们解决现实问题并改进用户体验。随着AIGC技术的迅猛发展，AI应用场景正在加速实现落地，这预示着我们将迎来一场全新的生产力变革。近日，美图公司旗下WHEE等产品上线AI扩图及AI改图功能，只需简单的提示性输入，用户就可以任意修改图像、移除画面元
最近，“AI扩图”功能以其突如其来的扩大效果引发了轰动，其滑稽而又有趣的自动填充结果频频走红，在网络上掀起了热潮。用户们积极尝试这一功能，其180度的巨大转变也让人们感叹不可思议，话题热度持续攀升。
在引发笑声和热情的同时，也意味着人们不断关注着AI是否能够真正帮助他们解决现实问题并改进用户体验。随着AIGC技术的迅猛发展，AI应用场景正在加速实现落地，这预示着我们将迎来一场全新的生产力变革。
近日，美图公司旗下WHEE等产品上线AI扩图及AI改图功能，只需简单的提示性输入，用户就可以任意修改图像、移除画面元素、扩充画面，凭借便捷的操作与惊艳的效果，大大降低工具使用门槛，为用户带来高效、优质的图像创作体验。
MiracleVision（奇想智能）消除结果
MiracleVision（奇想智能）替换效果前
MiracleVision（奇想智能）替换效果后
MiracleVision（奇想智能）AI改图效果
强大模型能力，让图像编辑随心所欲
美图AI局部重绘模型基于扩散模型（Diffision Model）技术构建了完整的inpaint & outpaint模型框架，将内部区域重绘、前景目标消除以及外部区域扩展等任务统一到同一个方案中进行解决，并针对一些特定的效果问题做了专门的优化设计。
MiracleVision（奇想智能）模型属于文生图模型，虽然可以通过改造第一卷积层，并将unet整体微调的方式，使其适应inpaint任务，但这样需要修改unet原有的权重，在训练数据量不足时可能会导致模型性能的下降。
因此，为了充分利用MiracleVision（奇想智能）已有的生成能力，团队在局部重绘模型中不对MiracleVision（奇想智能）的unet模型进行直接微调，而是使用controlnet的方式增加一个mask的输入分支进行控制。
同时，为了节约训练成本，加快推理速度，使用压缩后的controlnet模块进行训练，尽可能地减少计算量。在训练的过程中，unet模型的参数会被固定，只有controlnet模块会进行更新，最终使整个模型获得inpaint的能力。
美图AI局部重绘模型架构图
outpaint任务则是crop任务的反向操作。crop任务是沿着图像边界对原图像进行剪裁，只保留需要的部分，是一种图像内容的减法操作；而outpiant任务则是沿着图像边界向外进行扩展，借助模型的生成能力来凭空创造出原本不存在的内容，是一种图像内容的加法操作。
本质上，outpaint任务也可以看作是一种特殊的inpaint任务，只不过mask区域位于图像的外围。
MiracleVision（奇想智能）AI扩图效果
由于outpaint任务中的mask区域只能从图像内部获取引导信息，其他的方向上都是图像边界，因此生成的内容更加具有随机性，会更加的发散。为了填补图像外围的空白区域，同时保证画面拓展的准确性，团队依托场景识别算法对图像风格及内容进行推断，并充分利用图像内容的相关性，通过在扩展边缘处镜像复制原图中的像素并叠加随机噪声，为模型提供适合的初始先验，从而保证生成内容的合理性，并使得边界过渡更加平滑。
通过多种训练策略，自由控制物体生成与消除
一般的扩散模型在执行inpaint任务时更擅长替换而不是消除，当需要消除某一目标时，模型很容易在mask区域中绘制出一些原本不存在的新前景目标，特别是当mask区域的面积比较大的时候这一现象尤为明显，即使这些目标并没有出现在prompt中。究其原因，主要是以下3个方面：
1.训练集的prompt中，一般只描述了图像中有什么，而不会描述图像中没有什么，因此让训练后的模型根据提示生成某一目标很容易，但是不让它生成目标却很难。即便有Classifier-Free Guidance策略，可以通过把不想要的物体添加到负词中的方式来抑制该目标的生成，但始终无法将所有可能的目标全部写到负词中，因此模型还是会倾向于生成一些意想不到的目标；
2.从训练数据的分布来看，由于大规模图像训练集中的绝大部分图像都是由前景和背景组合而成的，纯背景的图像占比较小，这意味着扩散模型在训练时就已经学习到了一种潜在的规律，即一幅图像中大概率存在着某一个目标前景（即使prompt中并没有提到它），这也导致模型在执行inpaint任务时更倾向于在mask区域中生成些什么，从而使输出图像更接近于训练时的分布；
3.待填充的mask区域的形状有时也会包含一定的语义信息，比如在没有其他引导的情况下，模型会更倾向于在一个形状为猫的mask区域内填充一只新的猫，从而导致消除任务失败。
为了使MiracleVision（奇想智能）同时具备目标生成以及目标消除的能力，团队采用了多任务的训练策略：
1.在训练阶段，当mask区域落在纹理较少的纯背景区域上时，增加一个特定的prompt关键词作为触发引导词，并在模型推理阶段，将这个关键词作为正向引导词加入到prompt embedding 中，促使模型更多地生成背景区域。
2.由于纯背景图像在整个训练集中占比较小，为了提高其对于训练的贡献程度，在每个训练batch中，手动采样一定比例的背景图像加入到训练，使背景图像在训练样本中的占比总体保持稳定。
3.为了降低模型对于mask形状的语义依赖，在训练阶段还会随机生成各种不同形态mask，增加mask形状的多样性。
高精度纹理生成，融合更自然
由于训练集中高清的纹理数据只占全部训练数据的一小部分，因此在执行inpaint任务时，通常不会生成纹理非常丰富的结果，导致在原图纹理比较丰富的场景中，容易出现融合不自然、存在边界感的情况。
为了解决这个问题，团队基于自研纹理细节模型作为引导模型，以此来辅助MiracleVision（奇想智能）提高生成质量，抑制过拟合，使得生成区域和原图的其他区域之间能够更好地贴合在一起。
原图v.s未增加纹理细节v.sMiracleVision扩图效果
速度更快、效果更优、交互更高效！
扩散模型类方案在推理时通常需要进行多步逆扩散过程，导致单张图片的处理耗时过长。为了在保持生成质量的同时优化用户体验，美图影像研究院（MT Lab）团队为AI局部重绘技术打造了专项调优方案，最终达到性能与效果的最佳平衡。
首先，将MiracleVision（奇想智能）前后处理与推理过程中大量的矩阵计算，尽可能地移植到GPU上并行计算，从而有效地加快了计算速度，并减少CPU端的负载。同时，在组图的过程中，尽可能的对layer进行fuse，使用FlashAttention来降低显存占用，提升推理性能，并对Kernel实现进行Tuning，针对NVIDIA不同的显卡最大化GPU算力使用。
除此之外，依托自研的模型参数量化方法，将MiracleVision量化至8bit而不明显损失精度。由于不同的GPU显卡对8bit量化的支持存在差异性，因此创新性采用混合精度策略，在不同的服务器资源环境下自适应地选取最优算子，从而实现总体加速的最优解。
而对于分辨率较高的用户输入图像，由于受限于服务器资源与时间成本，很难在原始分辨率情况下直接进行推理。对此，团队通过先压缩图像分辨率至合适的大小，再基于MiracleVision（奇想智能）进行推理，其后使用超分算法复原图像至初始分辨率下，再与原图进行图像融合，从而既保持生成图像的清晰效果，又节约推理过程中的显存占用和执行时间。
美图与三星深度合作，以AI打造手机图像编辑新体验
1月25日，三星电子举办Galaxy S24系列中国新品发布会。美图公司深化与三星合作，为三星新品Galaxy S24系列手机相册打造全新的AI图像编辑体验，美图影像研究院（MT Lab）自主研发的生成式编辑——AI扩图与AI改图功能也已正式上线，助力手机图像编辑创作打开新空间。
通过AI改图功能，用户只需长按要编辑的图像，即可轻松移动、消除或调整图像大小。此外，在画面水平线不垂直时，AI扩图功能可以在用户调整角度后，智能填充照片的缺失区域，修正画面构图。
基于MiracleVision（奇想智能）带来的AI功能，美图不仅助力用户在手机端轻松实现专业级的编辑效果，创造出更具个性的照片作品，也将持续推动和提升整个手机行业的AI图像处理能力。
依托美图影像研究院（MT Lab）强大的技术能力，MiracleVision(奇想智能)在不到半年时间已经迭代至4.0版本。未来，美图将持续致力于提升在电商、广告、游戏等行业的用户体验，助力不同场景的从业者工作流提效。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。