比Meta「分割一切AI」更全能！港科大版图像分割AI来了：实现更强粒度和语义功能
比Meta“分割一切”的SAM更全能的图像分割AI，来了！模型名为Semantic-SAM，顾名思义，在完全复现SAM分割效果的基础上，这个AI还具有两大特点：语义感知：模型能够给分割出的实体提供语义标签粒度丰富：模型能够分割从物体到部件的不同粒度级别的实体图片用作者自己的话说：Semantic-SAM，在多个粒度(granularity)上分割(segment)和识别(recognize)物体的通用图像分割模型。据我们所知，我们的工作是在SA-1B数据集、通用分割数据集(COCO等)和部件分割数据集(P
比Meta“分割一切”的SAM更全能的图像分割AI，来了！
模型名为Semantic-SAM，顾名思义，在完全复现SAM分割效果的基础上，这个AI还具有两大特点：
- 语义感知：模型能够给分割出的实体提供语义标签
- 粒度丰富：模型能够分割从物体到部件的不同粒度级别的实体
图片
用作者自己的话说：
Semantic-SAM，在多个粒度(granularity)上分割(segment)和识别(recognize)物体的通用图像分割模型。
据我们所知，我们的工作是在 SA-1B数据集、通用分割数据集(COCO等)和部件分割数据集(PASCAL Part等)上联合训练模型的首次尝试，并系统研究了在SA-1B 上定义的交互分割任务(promptable segmentation)和其他分割任务(例如，全景分割和部件分割)上多任务联合训练的相互促进作用。
论文来自香港科技大学、微软研究院、IDEA研究院、香港大学、威斯康星大学麦迪逊分校和清华大学等研究单位。
具体详情，一起来看~
- 论文地址：https://arxiv.org/abs/2307.04767
- 代码地址：https://github.com/UX-Decoder/Semantic-SAM
- 在线Demo地址：上述代码仓库的首页
(以下为论文作者投稿)
1.简介
Semantic-SAM可以完全复现SAM的分割效果并达到更好的粒度和语义功能，是一个强大的vision foundation model。Semantic-SAM 支持广泛的分割任务及其相关应用，包括：
- Generic Segmentation 通用分割（全景/语义/实例分割）
- Part Segmentation 细粒度分割
- Interactive Segmentation with Multi-Granularity Semantics 具有多粒度语义的交互式分割
- Multi-Granularity Image Editing 多粒度图像编辑
图片
1.1 复现SAM
SAM是Semantic-SAM的子任务。我们开源了复现SAM效果的代码，这是开源社区第一份基于DETR结构的SAM复现代码。
1.2 超越SAM
- 粒度丰富性: Semantic-SAM能够产生用户点击所需的所有可能分割粒度（1-6）的高质量实体分割，从而实现更加可控和用户友好的交互式分割。
- 语义感知性。Semantic-SAM使用带有语义标记的数据集和SA-1B数据集联合训练模型，以学习物体(object)级别和细粒度(part)级别的语义信息。
- 多功能。Semantic-SAM 实现了高质量的全景，语义，实例，细粒度分割和交互式分割，验证了SA-1B 和其他分割任务的相互促进作用。
只需单击一下即可输出多达 6 个粒度分割！与 SAM 相比，更可控地匹配用户意图，不用担心鼠标移动很久也找不到想要的分割了～
2. 模型介绍
2.1 模型结构
Semantic-SAM的模型结构基于Mask DINO进行开发。Mask DINO是基于DETR框架的统一检测和分割的网络，目前仍然是相同模型size下的SOTA模型。Semantic-SAM的模型结构主要改进在decoder部分，同时支持通用分割和交互式分割。通用分割的实现与Mask DINO相同。交互式分割包括point和box两种形式，其中box到mask不存在匹配的ambiguity，实现方式与通用分割相同，而point到mask的匹配是Semantic-SAM的关键设计。
在Semantic-SAM中，用户的point输入被转换成6个prompt, 每个prompt包含一个可学习的level embedding进行区分。这6个prompt通过decoder产生6个不同粒度的分割结果，以及object和part类别。
图片
2.2 训练
为了学到物体级别(object)和部件级别(part)的语义，Semantic-SAM同时从多个数据集中进行学习，如多粒度数据集(SA-1B)，物体级别数据集(如COCO)，以及部件级别数据集(如Pascal Part)。
为了从联合数据集中学习语义感知性和粒度丰富性，我们引入以下两种训练方法：
解耦物体分类与部件分类的语义学习：为了学习到可泛化的物体和部件语义，我们采用解耦的物体分类和部件分类，以使得只有object标注的数据也可以学习到一些通用的part语义。例如，head是在几乎所有动物上都通用的part，我们期望模型从有标注的dog head，cat head，sheep head等head中学习到可泛化的lion，tiger，panda等head的识别能力。
图片
Many-to-Many的多粒度学习：对于交互式分割中的point输入，Semantic-SAM利用6个prompt去输出多粒度的分割结果，并用包含该点击的所有标注分割来作为监督。这种从多个分割结果到多个分割标注的Many-to-Many的匹配和监督，使得模型能够达到高质量的多粒度分割效果。
图片
3. 实验
3.1 SA-1B 与通用分割数据集的联合训练
我们发现，联合训练 SA-1B 和通用分割数据集可以提高通用分割性能，如对COCO分割和检测效果有大幅提升。
图片
在训练SA-1B数据的过程中，我们也发现了利用少量SA-1B的数据即可得到很好的效果。
图片
3.2 SA-1B 与细粒度分割数据集的联合训练
同样的，联合训练 SA-1B 和细粒度分割数据集可以提高部件分割性能。
图片
4. 可视化
4.1 Semantic-SAM的prompt从大量数据中学到了固定模式的表征
Semantic-SAM一共有6个可学习的prompt。对于不同图片的点击，观察每个prompt对应的分割结果，可以发现每个prompt的分割都会对应一个固定的粒度。这表明每个prompt学到了一个固定的语义级别，输出更加可控。
图片
4.2 Semantic-SAM与SAM, SA-1B Ground-truth 的比较
每行最左边图像上的红点是用户点击的位置，(a)(b) 分别是Semantic-SAM和 SAM 的分割输出， (c) 是包含用户点击的 Groud-truth 分割。与 SAM 相比，Semantic-SAM具有更好的分割质量和更丰富的粒度，方便用户找到自己需要的分割粒度，可控性更好。
图片
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。