复旦大学研发新框架：让AI"抠图"技术在视频中也能精准到发丝级别

这项由复旦大学与上海财经大学联合完成的研究，以预印本形式于2026年6月25日公开发布，论文编号为arXiv:2606.27339v1。

抠图这件事，比你想象的难得多

手机里的背景虚化功能、电影里的特效合成、直播间的虚拟背景——这些看似普通的日常体验，背后都有一项叫做“图像抠图”的技术在默默支撑。说得更直白一点，就是让计算机判断出一张图片里哪些像素属于主体（比如人、动物、透明水杯），哪些属于背景，然后把主体“剪”出来。

单张图片的抠图技术已经相当成熟，但一旦把这件事放到视频里，麻烦就来了。视频是由成百上千帧图片组成的，不仅要每一帧都抠得干净，还要保证前一帧和后一帧的主体轮廓不会突然“抖动”或“跳变”——就像剪一段胶片电影，每一格的剪裁线必须对得上，否则放映时就会闪烁不止。

更棘手的是，视频中的主体往往在运动、有半透明的部分（比如薄纱裙摆、水流），甚至还会短暂消失后又重新出现。现有的视频抠图方法为了解决这些问题，需要花费大量人力去标注专门的视频数据集——每一帧都要像素级地标出哪里是主体、哪里是背景，这种工作量极其庞大，导致现有数据集规模有限，而且大多数只专注于“人”这一类主体，换成动物、蝴蝶、玻璃杯就会表现大打折扣。

复旦大学的研究团队提出了一个叫做SAM2Matting的新框架，核心思路是：与其费尽心力去收集和标注昂贵的视频抠图数据，不如把“追踪物体”和“精细抠图”这两件事分开交给各自最擅长领域的工具来做。追踪交给已经在海量视频数据上训练好的追踪模型，精细抠图则用丰富的图片抠图数据来训练专门的模块。最终的结果令人印象深刻：仅用图片数据训练的SAM2Matting，在视频抠图的各项评测指标上超过了那些专门用视频数据训练的竞品，同时还能在不到5GB显存的条件下以40帧每秒的速度处理1080p视频。

一、为什么视频抠图是个“两头难”的问题

要理解这项研究解决的核心矛盾，可以用一个生活场景来感受一下。假设你要追踪一只在花丛中飞舞的蝴蝶，并把它从视频中“剪”出来。这件事天然分成两个层次的难度。

第一个层次是“找到它”：蝴蝶在运动，背景也在变化，你需要时刻知道蝴蝶在哪一帧的哪个位置。这属于高层次的“理解”问题，需要模型具备跨帧的时序判断能力，业内把这类任务叫做视频目标分割（Video Object Segmentation，简称VOS）。目前已经有非常成熟的模型专门做这件事，比如Meta公司发布的SAM2，它在大规模视频数据上训练，追踪能力相当强悍。

第二个层次是“剪干净”：蝴蝶的翅膀是半透明的，翅膀边缘有极细的纹路，简单地把翅膀轮廓内的像素全部选中是不够的，需要对半透明区域的每个像素赋予一个介于0到1之间的“透明度值”（行业内叫alpha值）。这属于极度精细的低层次感知问题，每一根发丝、每一处半透明都要处理到位。做好这件事靠的是高质量的图片抠图数据集的训练。

问题在于，现有的视频抠图方法试图用一套模型同时搞定这两件事，而且依赖专门的视频抠图数据集来训练。这类数据集不仅标注成本极高，覆盖的场景也主要集中在人物身上。结果就是，在人物视频上表现还算过得去，一旦换成蝴蝶、水流、骑自行车的人（连带着自行车一起抠），就会出现明显的错误——要么追丢了，要么边缘一塌糊涂。

SAM2Matting的思路正是从这个两难困境出发：既然追踪和精细抠图本来就是两件性质不同的事，为什么要强求用一个模型、一套数据来同时解决？

二、“分工协作”的核心设计：让追踪归追踪，抠图归抠图

SAM2Matting的整体架构可以用一个流水线作业的场景来理解。在一条汽车组装线上，不同工位各司其职——有人专门装发动机，有人专门装车窗，有人专门做最终的质检和细节打磨。SAM2Matting的设计逻辑与此非常相似。

流水线的第一站是VOS追踪器。研究团队直接使用了SAM2.1或SAM3这类已经训练好的成熟追踪模型，让它负责在视频的每一帧中定位主体，输出一个粗糙的“主体轮廓遮罩”。重要的是，这个追踪器在整个训练过程中是被冻结的——研究团队完全不去动它的参数，保留它原有的强大追踪能力，只是把它的输出结果拿来用。

追踪器输出的遮罩会同时传递给流水线的第二站和第三站，这两部分是SAM2Matting真正的创新所在，统称为“抠图组件”，完全用图片抠图数据来训练。

第二站叫做ROI检测器（Region of Interest Detector，感兴趣区域检测器）。它的职责是在追踪器给出的粗轮廓基础上，进一步识别出“真正需要精细处理的区域”。并不是主体的每一个像素都需要精细抠图——一个人的T恤中间部分显然是实心前景，不需要特别处理；真正麻烦的是头发丝、半透明的薄纱、蝴蝶翅膀的边缘这类区域。ROI检测器的任务就是精准地圈出这些“难搞的地方”。

第三站叫做渐进式Alpha预测器（Progressive Alpha Predictor）。它接收ROI检测器的输出，从粗到细地逐步生成精细的alpha值图（也就是每个像素的透明度图），最终产出高质量的抠图结果。

这套分工体系的最大优势在于：追踪器永远是追踪器领域最强的那一批，不会因为学习抠图技能而“退化”；而抠图组件可以专心从海量图片抠图数据中学习如何处理每一根发丝，不需要依赖稀缺且昂贵的视频标注数据。

三、ROI检测器：找出那些“需要精心雕琢”的区域

在介绍ROI检测器之前，有必要先说一说它的前辈们是怎么做的，这样才能理解研究团队的改进到底有多关键。

过去的大多数方法在确定“需要精细处理的区域”时，采用的是一种非常机械的办法：把追踪器给出的主体遮罩做膨胀和腐蚀操作。通俗来说，就是把主体轮廓向外扩一圈（膨胀），再向内缩一圈（腐蚀），两者之间的环形区域就被认为是“需要精细处理的边界区域”。

这个方法的问题在于，它对所有边界一视同仁——无论是简单的直线边缘还是复杂的卷发边缘，给出的处理宽度都是一样的。而现实中，飘逸的长发需要极大范围的精细处理，但紧贴身体的手臂轮廓其实很简单，根本不需要那么大的处理范围。机械的膨胀腐蚀操作无法做出这种区分，要么漏掉复杂区域，要么在简单区域浪费计算资源。另一种极端做法是把追踪器输出的整个主体遮罩都当作“需要精细处理”的区域，但这样会引入大量不必要的干扰，主体内部明明是实心的前景，却被要求重新计算透明度。

SAM2Matting的ROI检测器则把这个问题重新定义为一个智能的分类任务。它综合考虑三类信息：追踪器给出的粗遮罩（告诉它主体大概在哪里）、当前帧的图像（让它看到实际的视觉细节）、以及图像的多尺度特征（让它从宏观到微观地理解场景）。通过这三类信息的融合，ROI检测器能够输出一张精细的“难度地图”，只在真正复杂的区域（飘起的头发、半透明的翅膀、手指缝隙）标记出需要精细处理的像素，而在简单的实心区域直接复用追踪器的结果。

研究论文中的对比实验清楚地展示了这一差异：面对飘逸长发的场景，机械膨胀腐蚀产生的处理区域是均匀的宽边框，而ROI检测器则精准地定位到了每一缕头发的所在区域，完全不浪费在无需处理的位置。在一个叶片茂密的植物场景中，ROI检测器能够识别出树叶之间的细小缝隙，而机械方法则完全忽视了这些关键细节。

在ROI检测器确定了需要精细处理的区域之后，系统会自动生成一张“伪三分图”（pseudo-trimap）。这张图把画面分成三类：肯定是前景的区域（遮罩内部的实心区域）、肯定是背景的区域（遮罩以外的区域）、以及需要精细计算的“未知区域”（ROI检测器标记出的复杂区域）。这张三分图就像一张工作指派单，明确告诉下游的alpha预测器：“这些地方你要仔细算，那些地方直接按前景或背景处理就好。”

四、渐进式Alpha预测器：从草稿到精稿的逐步打磨

ROI检测器完成了“找出麻烦区域”的任务之后，渐进式Alpha预测器接手，负责对这些区域的每个像素生成精确的透明度值。

它的工作方式采用了一种“由粗到细”的渐进策略，和设计师画草图的过程非常相似。一个设计师不会一开始就直接画出精细的线条，而是先勾勒出大致轮廓，然后在此基础上逐步细化，每一轮都在上一轮的基础上添加更多细节。渐进式Alpha预测器的工作流程与此一致：它在多个分辨率尺度上依次运行，低分辨率尺度先生成一个粗略的透明度图，这张粗略图随即被传递给下一个更高分辨率的尺度，作为精细化的起点，如此循环，最终在最高分辨率尺度上输出详尽的透明度图。

每个尺度的预测都会接受监督和修正——这意味着不仅最终结果要被评估好坏，中间的每一步草稿也都要符合标准。这种“全程质控”的训练方式能够有效防止中间步骤偏离正轨，让最终的精细化过程建立在可靠的基础上。

训练过程中，研究团队还引入了两个特殊的“纠偏机制”。其一是遮罩一致性惩罚：它的作用是确保生成的透明度图不会在主体内部出现“空洞”——如果追踪器认为某个区域是前景，最终的透明度图也不应该把那里算作接近透明，否则抠出来的主体会出现不该有的“漏洞”。其二是平滑度损失：它负责消除透明度图边缘的锯齿感，让抠图结果的轮廓更自然流畅，而不是像素化的“阶梯边缘”。在论文展示的对比图中，加入遮罩一致性惩罚之后，人物身体中间不再出现异常的透明孔洞；加入平滑度损失之后，头发的边缘从参差不齐变得柔顺自然。

五、实验结果：数字背后的真实差距

SAM2Matting接受了系统性的评测，分别在图片抠图和视频抠图两大类任务上进行了测试，对比对象包括领域内多个主流方法。

在图片抠图领域，研究团队在三个标准测试集上进行了评测，其中包括专注于人像的P3M-500-NP数据集、专注于动物与自然场景的AM-2K数据集，以及专注于人像细节的PPM-100数据集。评测指标包括平均绝对误差（MAD，越低越好）、均方误差（MSE，越低越好）、梯度误差（Grad，越低越好）和连通性误差（Conn，越低越好）等，这些指标从不同角度衡量抠图结果与真实标注之间的差距。

SAM2Matting的三个变体（基于SAM2.1-Tiny、SAM2.1-Base+和SAM3的版本）在几乎所有指标上都超过了此前的方法。以P3M-500-NP数据集上的MAD指标为例，SAM2Matting（SAM2.1-Tiny）的得分为3.92，而此前的MAM方法得分为15.40——这意味着SAM2Matting的平均像素误差只有MAM的约四分之一。在AM-2K上，SAM3变体的MAD为4.32，在PPM-100上为4.23，均处于领域领先水平。

视频抠图的结果更能体现这项研究的核心价值，因为SAM2Matting在视频上完全采用零样本（zero-shot）评测方式——也就是说，训练时完全没有用过任何视频抠图数据，直接拿去测试。对比方法则全部使用了视频数据进行专门训练。在V-HIM60-Hard这个难度较高的人物视频测试集上，SAM3变体的MAD为14.37，而MatAnyone2（一个专门用视频数据训练的方法）的MAD为45.75，相差三倍有余。在衡量视频时序一致性的dtSSD指标上，SAM3变体得到4.37，也明显优于大多数竞品，这说明其从VOS追踪器继承的追踪能力切实地保证了视频帧间的连贯性。

在速度和内存占用上，SAM2Matting同样表现出色。以1080p视频为例，SAM2.1-Tiny变体能达到40.31帧每秒，SAM2.1-Base+也有30.36帧每秒，两者都超过了实时处理的门槛（通常以30帧每秒为标准）。与之形成对比的是，MatAnyone和MatAnyone2在1080p下只能跑到约10帧每秒，在1440p和2160p分辨率下更会直接因内存不足而崩溃（论文中标注为“oom”即Out of Memory），而SAM2Matting的三个变体在4K分辨率下依然能正常运行，内存占用最高也不超过7GB。

六、消融实验：拆开来看，每一块积木都有贡献

为了验证每个设计选择的必要性，研究团队做了一系列“拆零件”实验——依次去掉某个组件，看整体性能如何变化。

ROI策略的对比实验清楚地说明了ROI检测器相对于简单替代方案的优势。用机械的膨胀腐蚀操作代替ROI检测器时，V-HIM60-Hard测试集上的MAD从18.20急升至29.82，升幅超过60%。直接用追踪器的原始遮罩作为处理区域时，MAD为20.07，同样明显差于ROI检测器。

渐进式尺度设计的重要性也在实验中得到了验证。去掉多尺度级联精化机制（退化为单尺度预测）后，MAD从18.20上升至19.43，说明由粗到细的逐步细化确实带来了显著的质量提升。分别去掉遮罩一致性惩罚和平滑度损失后，指标也各有不同程度的下降，证明这两个辅助监督信号都在各自的位置发挥了作用。

研究团队还专门探讨了一个诱人的问题：如果用视频抠图数据对SAM2Matting进行微调，会不会进一步提升效果？实验结果给出了一个颇有警示意义的答案。在人物视频测试集V-HIM60-Hard上，微调后的版本确实有小幅提升，MAD从18.20降至17.90。但在动物图片测试集AM-2K上，微调后的版本反而变差，MAD从4.90升至5.23。更直观的是论文中的图像对比——微调之前，模型能够稳健地跟踪摩托车（连带驾驶员一起），微调之后，即使是没有遮挡的简单场景，追踪也开始出现明显的偏移和误判。这一结果直接印证了研究团队的核心判断：用领域狭窄的视频抠图数据进行微调会“腐蚀”追踪器原本的泛化能力，得不偿失。

七、灵活性与鲁棒性：面对现实世界的各种挑战

一项技术要走出实验室、进入实际应用，还需要应对各种研究者在论文里不一定测得到的“现实挑战”。SAM2Matting在这些方面同样经过了测试。

提示方式的灵活性是一个实际使用中非常重要的便利性特征。不同的用户可能习惯不同的操作方式——有人喜欢在主体上点一个点，有人喜欢画一个框，有人希望直接说“这个人”让系统自动找。SAM2Matting继承了底层追踪器支持的所有提示类型：SAM2.1-Tiny和SAM2.1-Base+变体支持点击、框选和初始遮罩输入，而SAM3变体更进一步，额外支持文字描述（如“the man”这样的文字提示直接作为输入）。论文中展示了一段自拍视频的案例，用四种不同的提示方式都成功地生成了质量相近的抠图结果。

追踪误差纠正能力也是SAM2Matting的一个值得关注的特性。ROI检测器并不是无条件信任追踪器的输出，而是把追踪器遮罩当作众多参考信息之一，与图像的视觉特征相结合。这使得系统具备一定的自我纠错能力：当追踪器漏掉了滑雪者的雪杖时，ROI检测器通过图像特征识别出雪杖仍然属于需要保留的区域，最终的抠图结果里雪杖完好地保留了下来。反过来，当追踪器误把背景中的桌子划入主体时，ROI检测器根据视觉特征判断出桌子不是目标主体，成功地从结果中排除了桌子。

针对长视频的测试进一步展示了这套系统的实用价值。研究团队测试了一段500帧的视频，其中主体多次完全离开画面又重新出现。结果表明，SAM2Matting能够在整个序列中持续稳定地追踪和抠图，主体消失期间不产生误报，重新出现后能即时恢复准确的抠图结果。

说到底，SAM2Matting解决的问题听起来很专业——“视频抠图”、“alpha遮罩”、“时序一致性”——但它背后的逻辑却出奇地简单：把一件本来就包含两种不同难度的任务，交给两个各自擅长不同方面的工具来分工完成，而不是强迫一个工具同时精通两件事。

这种思路的价值远不止于视频抠图本身。它提供了一种可复用的范式：在面对“追踪+精细感知”这类本质上包含两个层次的视觉任务时，与其堆砌更多昂贵的标注数据、训练更大的端到端模型，不如先想清楚任务的内在结构，再针对性地分配工具。

对于普通用户而言，这项研究最直接的影响可能体现在不久后的视频编辑软件和直播工具里：更精准的虚拟背景、更干净的主体提取、更低的设备门槛。一台普通的电脑，不再需要专业级显卡，就能处理高清视频的实时抠图。对于非人类主体——宠物、植物、透明物体——的支持，也意味着这类工具的适用场景将大幅拓宽。

一个值得进一步思考的问题是：SAM2Matting目前仍然需要用户在第一帧提供某种形式的提示（点击、框选或文字描述）来告知系统“你要抠的是哪个主体”。未来，如果追踪器能够自主理解更复杂的语义描述，或者系统能够从视频内容本身推断出用户最可能想要保留的主体，那么这套分工协作的框架还能释放出更大的潜力。

Q&A

Q1：SAM2Matting为什么能在不使用视频抠图训练数据的情况下，在视频抠图任务上超过专门用视频数据训练的方法？

A：SAM2Matting将视频抠图拆分为追踪和精细抠图两个子任务，追踪部分由已在海量视频数据上训练好的SAM2/SAM3模型负责，精细抠图部分则通过丰富的图片抠图数据训练，两者各司其职、互不干扰。现有视频抠图数据集规模有限且以人物为主，SAM2Matting绕开了这一瓶颈，泛化能力反而更强。

Q2：ROI检测器和传统的膨胀腐蚀操作有什么具体区别，为什么前者更好？

A：传统膨胀腐蚀操作对主体的所有边界均匀扩大一圈，无法区分复杂区域（如飘逸头发）和简单区域（如平整的衣服边缘）。ROI检测器通过融合追踪遮罩、当前帧图像和多尺度图像特征，智能地识别出真正需要精细处理的像素，比如飞散的发丝和半透明翅膀，避免在无需精细处理的区域浪费计算。实验显示，使用ROI检测器的MAD比膨胀腐蚀方法低约40%。

Q3：SAM2Matting用视频数据微调之后为什么效果反而变差了？

A：视频抠图数据集规模有限且主要包含人物场景。用这类数据微调后，模型在人物视频上略有提升，但追踪器原本强大的泛化追踪能力被“覆盖”，在非人类目标（如动物）和更复杂的运动场景中表现明显下降。这说明窄领域的视频标注数据会导致模型过拟合到特定场景，破坏了SAM2Matting原本依赖的通用追踪能力。