谷歌团队推出新Transformer，优化全景分割方案
最近，谷歌AI团队受Transformer和DETR的启发提出了一种使用MaskTransformer进行全景分割的端到端解决方案。全称是end-to-endsolutionforpanopticsegmentationwithmasktransformers，主要用于生成分割MaskTransformer架构的扩展。该解决方案采用像素路径（由卷积神经网络或视觉Transformer组成）提取像素特征，内存路径（由Transformer解码器模块组成）提取内存特征，以及双路径Transf
最近，谷歌AI团队受Transformer和DETR的启发提出了一种使用Mask Transformer进行全景分割的端到端解决方案。
全称是end-to-end solution for panoptic segmentation with mask transformers，主要用于生成分割MaskTransformer架构的扩展。
该解决方案采用像素路径（由卷积神经网络或视觉Transformer组成）提取像素特征，内存路径（由Transformer解码器模块组成）提取内存特征，以及双路径Transformer用于像素特征和内存之间的交互特征。
然而，利用交叉注意力的双路径Transformer最初是为语言任务设计的，它的输入序列由几百个单词构成。
而对视觉任务尤其是分割问题来说，其输入序列由数万个像素组成，这不仅表明输入规模的幅度要大得多，而且与语言单词相比也代表了较低级别的嵌入。
全景分割是一个计算机视觉问题，它是现在许多应用程序的核心任务。
它分为语义分割和实例分割两部分。
语义分割就比如为图像中的每个像素分配语义标签，例如「人」和「天空」。
而实例分割仅识别和分割图中的可数对象，如「行人」和「汽车」，并进一步将其划分为几个子任务。
每个子任务单独处理，并应用额外的模块来合并每个子任务阶段的结果。
这个过程不仅复杂，而且在处理子任务和整合不同子任务结果时还会引入许多人工设计的先验。
在 CVPR 2022 上发表的「CMT-DeepLab: Clustering Mask Transformers for Panoptic Segmentation」中，文章提出从聚类的角度重新解读并且重新设计交叉注意力cross attention（也就是将相同语义标签的像素分在同一组），从而更好地适应视觉任务。
CMT-DeepLab 建立在先前最先进的方法 MaX-DeepLab 之上，并采用像素聚类方法来执行交叉注意，从而产生更密集和合理的注意图。
kMaX-DeepLab 进一步重新设计了交叉注意力，使其更像一个 k-means 聚类算法，对激活函数进行了简单的更改。
结构总览
研究人员将从聚类的角度进行重新解释，而不是直接将交叉注意力应用于视觉任务而不进行修改。
具体来说，他们注意到Mask Transformer 对象查询可以被认为是集群中心（旨在对具有相同语义标签的像素进行分组）。
交叉注意力的过程类似于 k-means 聚类算法，（1）将像素分配给聚类中心的迭代过程，其中可以将多个像素分配给单个聚类中心，而某些聚类中心可能没有分配的像素，以及（2）通过平均分配给同一聚类中心的像素来更新聚类中心，如果没有分配像素，则不会更新聚类中心）。
在CMT-DeepLab和kMaX-DeepLab中，我们从聚类的角度重新制定了交叉注意力，其中包括迭代聚类分配和聚类更新步骤
鉴于 k-means聚类算法的流行，在CMT-DeepLab中，他们重新设计了交叉注意力，以便空间方面的softmax操作（即沿图像空间分辨率应用的 softmax 操作），实际上将聚类中心分配给相反，像素是沿集群中心应用的。
在 kMaX-DeepLab 中，我们进一步将空间方式的 softmax 简化为集群方式的 argmax（即沿集群中心应用 argmax 操作）。
他们注意到 argmax 操作与 k-means 聚类算法中使用的硬分配（即一个像素仅分配给一个簇）相同。
从聚类的角度重新构建MaskTransformer的交叉注意力，显著提高了分割性能，并简化了复杂的Masktransformer管道，使其更具可解释性。
首先，使用编码器-解码器结构从输入图像中提取像素特征。然后，使用一组聚类中心对像素进行分组，这些像素会根据聚类分配进一步更新。最后，迭代执行聚类分配和更新步骤，而最后一个分配可直接用作分割预测。
为了将典型的MaskTransformer解码器（由交叉注意力、多头自注意力和前馈网络组成）转换为上文提出的k-means交叉注意力，只需将空间方式的softmax替换为集群方式最大参数。
本次提出的 kMaX-DeepLab 的元架构由三个组件组成：像素编码器、增强像素解码器和 kMaX 解码器。
像素编码器是任何网络主干，用于提取图像特征。
增强的像素解码器包括用于增强像素特征的Transformer编码器，以及用于生成更高分辨率特征的上采样层。
一系列 kMaX 解码器将集群中心转换为 (1) Mask嵌入向量，其与像素特征相乘以生成预测Mask，以及 (2) 每个Mask的类预测。
kMaX-DeepLab 的元架构
研究结果
最后，研究小组在两个最具挑战性的全景分割数据集 COCO 和 Cityscapes 上使用全景质量 (PQ) 度量来评估 CMT-DeepLab 和 kMaX-DeepLab，并对比 MaX-DeepLab 和其他最先进的方法。
其中CMT-DeepLab 实现了显著的性能提升，而 kMaX-DeepLab 不仅简化了修改，还进一步提升了，COCO val set 上的 PQ 为 58.0%，PQ 为 68.4%，44.0% Mask平均精度（Mask AP），Cityscapes 验证集上的 83.5% 平均交集比联合（mIoU），没有测试时间增强或使用外部数据集。
从聚类的角度设计，kMaX-DeepLab 不仅具有更高的性能，而且还可以更合理地可视化注意力图以了解其工作机制。
在下面的示例中，kMaX-DeepLab 迭代地执行聚类分配和更新，从而逐渐提高Mask质量。
kMaX-DeepLab 的注意力图可以直接可视化为全景分割，让模型工作机制更合理
结论
本次研究展示了一种更好地设计视觉任务中的MaskTransformer的方法。
通过简单的修改，CMT-DeepLab 和 kMaX-DeepLab 重新构建了交叉注意力，使其更像一种聚类算法。
因此，所提出的模型在COCO 和 Cityscapes数据集上实现了最先进的性能。
研究团队表示，他们希望 DeepLab2 库中 kMaX-DeepLab 的开源版本有助于未来对专用于视觉Transformer架构设计的研究。
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Premiere Pro 是面向专业视频制作的非线性剪辑软件，提供多轨时间线、调色、音频处理、字幕、代理工作流和多格式输出能力，并可与 After Effects、Audition、Photoshop 及 Frame.io 协同
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。