当前位置：

首页 > 业界资讯 > ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

作者：WeekendFlower 时间：2024-12-11 浏览：5

在2024世界经济论坛的一次会谈中，图灵奖得主YannLeCun提出用来处理视频的模型应该学会在抽象的表征空间中进行预测，而不是具体的像素空间[1]。借助文本信息的多模态视频表征学习可抽取利于视频理解或内容生成的特征，正是促进该过程的关键技术。然而，当下视频与文本描述间广泛存在的噪声关联现象严重阻碍了视频表征学习。因此本文中，研究者基于最优传输理论，提出鲁棒的长视频学习方案以应对该挑战。该论文被机器学习顶会ICLR2024接收为了Oral。论文题目：Multi-granularityCorresponde

本文目录

在 2024 世界经济论坛的一次会谈中，图灵奖得主 Yann LeCun 提出用来处理视频的模型应该学会在抽象的表征空间中进行预测，而不是具体的像素空间 [1]。借助文本信息的多模态视频表征学习可抽取利于视频理解或内容生成的特征，正是促进该过程的关键技术。

然而，当下视频与文本描述间广泛存在的噪声关联现象严重阻碍了视频表征学习。因此本文中，研究者基于最优传输理论，提出鲁棒的长视频学习方案以应对该挑战。该论文被机器学习顶会 ICLR 2024 接收为了 Oral。

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

论文题目：Multi-granularity Correspondence Learning from Long-term Noisy Videos
论文地址：https://openreview.net/pdf?id=9Cu8MRmhq2
项目地址：https://lin-yijie.github.io/projects/Norton
代码地址：https://github.com/XLearning-SCU/2024-ICLR-Norton

背景与挑战

视频表征学习是多模态研究中最热门的问题之一。大规模视频 - 语言预训练已在多种视频理解任务中取得显著效果，例如视频检索、视觉问答、片段分割与定位等。目前大部分视频 - 语言预训练工作主要面向短视频的片段理解，忽略了长视频中存在的长时关联与依赖。

如下图 1 所示，长视频学习核心难点是如何去编码视频中的时序动态，目前的方案主要集中于设计定制化的视频网络编码器去捕捉长时依赖 [2]，但通常面临很大的资源开销。

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

^{图 1：长视频数据示例 [2]。该视频中包含了复杂的故事情节和丰富的时序动态。每个句子只能描述一个简短的片段，理解整个视频需要具有长时关联推理能力。}

由于长视频通常采用自动语言识别（ASR）得到相应的文本字幕，整个视频所对应的文本段落（Paragraph）可根据 ASR 文本时间戳切分为多个短的文本标题（Caption），同时长视频（Video）可相应切分为多个视频片段（Clip）。对视频片段与标题进行后期融合或对齐的策略相比直接编码整个视频更为高效，是长时时序关联学习的一种优选方案。

然而，视频片段与文本句子间广泛存在噪声关联现象（Noisy correspondence [3-4]，NC），即视频内容与文本语料错误地对应 / 关联在一起。如下图 2 所示，视频与文本间会存在多粒度的噪声关联问题。

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

^{图 2：多粒度噪声关联。该示例中视频内容根据文本标题切分为 6 块。（左图）绿色时间线指示该文本可与视频内容对齐，红色时间线则指示该文本无法与整个视频中的内容对齐。t5 中的绿色文本表示与视频内容 v5 有关联的部分。（右图）虚线表示原本给定的对齐关系，红色指示原本对齐中错误的对齐关系，绿色则指示真实的对齐关系。实线表示通过 Dynamic Time Wraping 算法进行重新对齐的结果，其也未能很好地处理噪声关联挑战。}

粗粒度 NC（Clip-Caption 间）。粗粒度 NC 包括异步（Asynchronous）和不相关（Irrelevant）两类，区别在于该视频片段或标题能否与现有标题或视频片段相对应。其中「异步」指视频片段与标题间存在时序上的错位，例如图 2 中 t1。由于讲述者在实际执行动作的前后进行解释，导致陈述与行动的顺序不匹配。「不相关」则指无法与视频片段对齐的无意义标题（例如 t2 和 t6），或是无关的视频片段。根据牛津 Visual Geometry Group 的相关研究 [5]，HowTo100M 数据集中只有约 30% 的视频片段与标题在视觉上是可对齐的，而仅有 15% 是原本就对齐的；
细粒度 NC（Frame-Word 间）。针对一个视频片段，可能一句文本描述中只有部分文字与其相关。在图 2 中，标题 t5 中「糖撒在上面」与视觉内容 v5 强相关，但动作「观察釉面脱落」则与视觉内容并不相关。无关的单词或视频帧可能会阻碍关键信息提取，从而影响片段与标题间的对齐。

方法

本文提出噪声鲁棒的时序最优传输（NOise Robust Temporal Optimal transport, Norton），通过视频 - 段落级对比学习与片段 - 标题级对比学习，以后期融合的方式从多个粒度学习视频表征，显著节省了训练时间开销。

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

^{图 3 视频 - 段落对比算法框架图。}

1）视频 - 段落对比。如图 3 所示，研究者以 fine-to-coarse 的策略进行多粒度关联学习。首先利用帧 - 词间相关性得到片段 - 标题间相关性，并进一步聚集得到视频 - 段落间相关性，最终通过视频级对比学习捕捉长时序关联。针对多粒度噪声关联挑战，具体应对如下：

面向细粒度 NC。研究者采用 log-sum-exp 近似作为 Soft-maximum 算子去识别帧 - 词和词 - 帧对齐中的关键词和关键帧，以细粒度的交互方式实现重要信息抽取，累计得到片段 - 标题相似性。
面向粗粒度异步 NC。研究者采用最优传输距离作为视频片段和标题之间的距离度量。给定视频片段 - 文本标题间相似性矩阵，其中表示片段与标题个数，最优传输目标为最大化整体对齐相似性，可天然处理时序异步或一对多（如 t3 与 v4,v5 对应）的复杂对齐情况。

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

其中

为均匀分布给予每个片段、标题同等权重， ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

为传输指派或重对齐矩，可通过 Sinkhorn 算法求解。

面向粗粒度不相关 NC。受特征匹配中 SuperGlue [6] 启发，我们设计了自适应的可对齐提示桶去尝试过滤不相关的片段与标题。提示桶是一行一列的相同值向量，拼接于相似性矩阵上，其数值代表是否可对齐的相似度阈值。提示桶可无缝融入最优传输 Sinkhorn 求解中。

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

通过最优传输来度量序列距离，而非直接对长视频进行建模，可显著减少计算量。最终视频 - 段落损失函数如下，其中 ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

表示第

个长视频与第

个文本段落间的相似性矩阵。

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

2）片段 - 标题对比。该损失确保视频 - 段落对比中片段与标题对齐的准确性。由于自监督对比学习会将语义相似的样本错误地作为负样本优化，我们利用最优传输识别并矫正潜在的假阴性样本：

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

其中

代表训练批次中的所有视频片段和标题个数，单位矩阵 ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

代表对比学习交叉熵损失中的标准对齐目标， ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

代表融入最优传输矫正目标 ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

后的重对齐目标，

为权重系数。

实验

本文旨在克服噪声关联以提升模型对长视频的理解能力。我们通过视频检索、问答、动作分割等具体任务进行验证，部分实验结果如下。

1）长视频检索

该任务目标为给定文本段落，检索对应的长视频。在 YouCookII 数据集上，依据是否保留文本无关的视频片段，研究者测试了背景保留与背景移除两种场景。他们采用 Caption Average、DTW 与 OTAM 三种相似性度量准则。Caption Average 为文本段落中每个标题匹配一个最优视频片段，最终召回匹配数最多的长视频。DTW 和 OTAM 按时间顺序累计视频与文本段落间距离。结果如下表 1、2 所示。

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

^{表 1、2 在 YouCookII 数据集上的长视频检索性能比较}

2）噪声关联鲁棒性分析

牛津 Visual Geometry Group 对 HowTo100M 中的视频进行了手工重标注，对每个文本标题重新标注正确的时间戳。产出的 HTM-Align 数据集 [5] 包含 80 个视频与 49K 条文本。在该数据集上进行视频检索主要验证模型是否过度拟合了噪声关联，结果如下表 9 所示。

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

^{表 9 在 HTM-Align 数据集上针对噪声关联的有效性分析}

总结与展望

本文是噪声关联学习 [3][4]—— 数据错配 / 错误关联的深入延续，研究多模态视频 - 文本预训练面临的多粒度噪声关联问题，所提出的长视频学习方法能够以较低资源开销扩展到更广泛的视频数据中。

展望未来，研究者可进一步探讨多种模态间的关联问题，例如视频往往包含视觉、文本及音频信号；可尝试结合外部大语言模型（LLM）或多模态模型（BLIP-2）来清洗和重组织文本语料；以及探索将噪声作为模型训练正激励的可能性，而非仅仅抑制噪声的负面影响。

^{参考文献：}

^{1. 本站，“Yann LeCun：生成模型不适合处理视频，AI 得在抽象空间中进行预测”，2024-01-23.}

^{2.Sun, Y., Xue, H., Song, R., Liu, B., Yang, H., & Fu, J. (2022). Long-form video-language pre-training with multimodal temporal contrastive learning. Advances in neural information processing systems, 35, 38032-38045.}

^{3.Huang, Z., Niu, G., Liu, X., Ding, W., Xiao, X., Wu, H., & Peng, X. (2021). Learning with noisy correspondence for cross-modal matching. Advances in Neural Information Processing Systems, 34, 29406-29419.}

^{4.Lin, Y., Yang, M., Yu, J., Hu, P., Zhang, C., & Peng, X. (2023). Graph matching with bi-level noisy correspondence. In Proceedings of the IEEE/CVF international conference on computer vision.}

^{5.Han, T., Xie, W., & Zisserman, A. (2022). Temporal alignment networks for long-term video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 2906-2916).}

^{6.Sarlin, P. E., DeTone, D., Malisiewicz, T., & Rabinovich, A. (2020). Superglue: Learning feature matching with graph neural networks. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 4938-4947).}

本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系bd@zhengruan.com

作者最新文章

ArchiveofOurOwn官网链接及同人文学阅读入口 2026-10-30 10:21

多张照片怎么合成PDF文件？三种图片转PDF工具怎么选？ 2026-10-29 15:06

音述AI作品如何复制分享链接发给好友 2026-10-27 12:00

冰点还原怎么打开程序启动步骤 2026-10-23 13:35

keyshot怎么做爆炸图零件展开步骤 2026-10-21 10:46

业界资讯

上一篇：手机文件传输至电脑的方法

下一篇：最佳配搭a58主板的cpu选择

相关文章更多

一年损耗4.6亿吨、1.88万亿打水漂！县域经济，别再“卖特产”了

04.26

南昌光电产业集群将重磅亮相ISLE 2026

LED micro

04.26

天龙三号全球首次海上动力系统试车成功，商业航天竞速“大运力”更需安全“压舱石”

04.26

通用技术集团发布四大战略行动计划，形成全维发展布局

技术生态

04.26

华为鸿蒙电脑亮相，重构产业新格局

华为 AI 鸿蒙亮相

10.11

ACL 2024 | 提升大模型持续学习性能，哈工大、度小满提出共享注意力框架SAPT

07.27

贾扬清点赞：3K star量的SGLang上新，加速Llama 405B推理秒杀vLLM、TensorRT-LLM

07.12

人类模仿AI新赛道，AI：论疯癫，你是我爹

AI 视频生成

07.08

首届AI奥数竞赛方案公布：4支获奖队伍，竟都选择国产模型DeepSeekMath

07.04

2024年WAIC·云帆奖启航：擎启AGI时代，集结超越边界的探索者

06.27

LLama+Mistral+…+Yi=? 免训练异构大模型集成学习框架DeePEn来了

06.18

开闭源模型「大乱斗」：看看哪个智能体最能窥见人类真实意图

06.13

热门文章更多

Photoshop蒙版换证件照背景颜色怎么改？实用操作步骤详解 AutoCAD绘制机械零件三维实体详细教程 AE教程书籍挑选指南：零基础、动效与合成方向实战标准 Photoshop图层合并快捷键是什么？合并盖印及分开图层方法 Photoshop日系调色教程：小清新风格参数与思路

精品专题更多

装机必备

正软商城装机必备专区，精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件，帮助用户快速完成新电脑软件配置。

Windows

正软商城Windows软件专区，汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件，提供软件介绍、系统要求、正版授权及购买下载服务。

PDF教程

正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法，同时介绍常用PDF软件和工具的使用技巧。

macOS软件

正软商城macOS软件专区，精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具，提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

IOS软件

正软商城iOS软件专区，精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用，提供功能介绍、适用设备、系统要求和正版获取方式等信息。

正软商城AI软件专区，汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具，提供功能介绍、适用平台、收费方式及正版购买信息。

Mac软件更多

讯飞智作网页版

讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

AI视频

火山引擎网页版

火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。

云服务 AI开发火山引擎

Aperty macOS版

Aperty 是 Skylum 推出的 AI 人像修图软件，支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

批量处理人像修图 AI修图 Aperty

立刻MV 网页版

立刻MV 面向音乐人、内容创作者和品牌团队，帮助用户低成本完成歌曲 MV、歌词视频、AI 分镜、图生视频与最终合成。

AI视频立刻MV

蛙蛙写作网页版

蛙蛙写作 AI 创作工具，覆盖小说、剧本、文案，一键生成文稿，打通文字转视频全流程，高效解决创作难题。

蛙蛙写作本月促销

超级简历WonderCV 网页版

超级简历WonderCV是面向应届生和AI小白的智能求职平台，覆盖简历、面试与职业规划。

超级简历本月促销

音述AI 网页版

音述AI，是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区。

音述AI

AionClaw macOS版

AionClaw 是可在桌面端运行的任务型 AI 助手，通过数字专家与技能市场组合办公、创作、数据和开发能力。

AI助手

Loomy macOS版

Loomy 是科大讯飞推出的桌面 AI 助手，可通过对话、任务与工作目录协助处理办公、内容创作和资料整理。

AI助手

AirBuddy 3 macOS版

AirBuddy 3 是面向 macOS 的蓝牙外设增强工具，可集中查看 AirPods、Beats 与苹果设备电量，提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。

AirServer macOS版

AirServer macOS版可把 Mac 转换为无线投屏接收端，通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面，并支持多设备同时连接、高清镜像及会话录制，适合家庭娱乐、课堂教学、会议演示和应用展示。

AnyDesk macOS版

AnyDesk macOS版是一款适用于远程办公、设备维护和客户支持的远程桌面工具，可连接并操作异地计算机，支持文件传输、无人值守访问、会话权限控制及跨平台协作。

远程控制 AnyDesk

WINDOWS 更多

讯飞智作网页版

讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

AI视频

火山引擎网页版

云服务 AI开发火山引擎

PixTV 网页版

PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台，提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具，适合短剧、漫剧、广告及社交媒体内容制作。

AI视频

讯飞绘文网页版

讯飞绘文网页版是科大讯飞推出的AI图文创作与内容运营工具，覆盖热点选题、文章生成、稿件校对、智能配图、排版发布和数据复盘等环节，适合自媒体创作者及内容团队在线使用。

讯飞绘文

Maya（Autodesk Maya） Windows版

Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，

动画动画制作视频剪辑三维建模影视后期

Aperty Windows版

Aperty 是 Skylum 推出的 AI 人像修图软件，支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

批量处理人像修图 AI修图 Aperty

立刻MV 网页版

立刻MV 面向音乐人、内容创作者和品牌团队，帮助用户低成本完成歌曲 MV、歌词视频、AI 分镜、图生视频与最终合成。

AI视频立刻MV

蛙蛙写作网页版

蛙蛙写作 AI 创作工具，覆盖小说、剧本、文案，一键生成文稿，打通文字转视频全流程，高效解决创作难题。

蛙蛙写作本月促销

超级简历WonderCV 网页版

超级简历WonderCV是面向应届生和AI小白的智能求职平台，覆盖简历、面试与职业规划。

超级简历本月促销

音述AI 网页版

音述AI，是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区。

音述AI

AionClaw Windows版

AionClaw 是可在桌面端运行的任务型 AI 助手，通过数字专家与技能市场组合办公、创作、数据和开发能力。

AI助手

Loomy Windows版

Loomy 是科大讯飞推出的桌面 AI 助手，可通过对话、任务与工作目录协助处理办公、内容创作和资料整理。

AI助手