谷歌AI视频技术再次突破！全新通用视觉编码器VideoPrism发布，性能超越30项最先进技术
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
AI视频模型Sora爆火之后，Meta、谷歌等大厂纷纷下场做研究，追赶OpenAI的步伐。最近，来自谷歌团队的研究人员提出了一种通用视频编码器——VideoPrism。它能够通过单一冻结模型，处理各种视频理解任务。图片论文地址：https://arxiv.org/pdf/2402.13217.pdf比如，VideoPrism能够将下面视频中吹蜡烛的人分类、定位出来。图片视频-文本检索，根据文本内容，可以检索出视频中相应的内容。图片再比如，描述下面视频——一个小女孩正在玩积木。还可以进行QA问答。-她放在绿
AI视频模型Sora爆火之后，Meta、谷歌等大厂纷纷下场做研究，追赶OpenAI的步伐。
最近，来自谷歌团队的研究人员提出了一种通用视频编码器——VideoPrism。
它能够通过单一冻结模型，处理各种视频理解任务。
图片
论文地址：https://arxiv.org/pdf/2402.13217.pdf
比如，VideoPrism能够将下面视频中吹蜡烛的人分类、定位出来。
图片
视频-文本检索，根据文本内容，可以检索出视频中相应的内容。
图片
再比如，描述下面视频——一个小女孩正在玩积木。
还可以进行QA问答。
- 她放在绿色积木块上方积木的是什么颜色？
- 紫色。
图片
研究人员在一个异构语料库对VideoPrism进行了预训练，包含3600万高质量视频字幕对和5.82亿个视频剪辑，并带有噪声并行文本（如ASR转录文本）。
值得一提的是，VideoPrism在33项视频理解基准测试中，刷新了30项SOTA。
图片
通用视觉编码器VideoPrism
当前，视频基础模型（ViFM）有巨大的潜力，可以在庞大的语料库中解锁新的能力。
虽然之前的研究在一般视频理解方面取得了很大进展，但构建真正的「基础视频模型」仍然是一个难以实现的目标。
对此，谷歌推出了一种通用视觉编码器——VideoPrism，旨在解决广泛的视频理解任务，包括分类、本地化、检索、字幕和问答（QA）。
VideoPrism对CV数据集，以及神经科学和生态学等科学领域的CV任务进行了广泛评估。
通过使用单一冻结模型，以最小的适应度实现了最先进的性能。
另外，谷歌研究人员称，这种冻结编码器设置同时遵循先前研究，并考虑了其实际实用性，以及高计算和微调视频模型的成本。
图片
设计架构，两阶段训练法
VideoPrism背后的设计理念如下。
预训练数据是基础模型（FM）的基础，ViFM的理想预训练数据，是世界上所有视频的代表性样本。
这个样本中，大多数视频都没有描述内容的并行文本。
然而，如果训在这样的文本，它就能提供有关视频空间的无价语义线索。
因此，谷歌的预训练策略应主要关注视频模式，同时充分利用任何可用的视频文本对。
在数据方面，谷歌研究人员通过汇集3600万高质量视频字幕对，以及5.82亿视频剪辑与噪声并行文本（如ASR转录、生成的字幕和检索到的文本）来近似建立所需的预训练语料库。
图片
图片
在建模方面，作者首先从所有不同质量的视频-文本对中对比学习语义视频嵌入。
随后，利用广泛的纯视频数据，对语义嵌入进行全局和标记提炼，改进了下文所述的掩码视频建模。
尽管在自然语言方面取得了成功，但由于原始视觉信号缺乏语义，掩码数据建模对于CV来说仍然具有挑战性。
现有研究通过借用间接语义（如使用CLIP引导模型或分词器，或隐含语义来应对这一挑战）或隐性推广它们（比如标记视觉patches），将高掩码率和轻量级解码器结合。
在上述想法的基础上，谷歌团队根据预训练数据采用了两阶段方法。
图片
在第一阶段，进行对比学习，使用所有视频文本对，将视频编码器与文本编码器对齐。
根据先前的研究，谷歌团队最小化批中所有视频文本对的相似性得分，进行对称交叉熵损失最小化。
并使用 CoCa 的图像模型初始化空间编码模块，并将WebLI纳入到预训练中。
在计算损失之前，视频编码器的特征会通过多头注意力汇集池（MAP）进行聚合。
这一阶段允许视频编码器从语言监督中学习丰富的视觉语义，由此产生的模型为第二阶段训练提供语义视频嵌入。
图片
第二阶段，继续训练编码器，并进行了两项改进：
- 模型需要根据未掩码的输入视频patches，来预测第一阶段的视频级全局嵌入和token式嵌入
- 编码器的输出token在传给解码器之前，要进行随机洗牌，以避免学习捷径。
值得注意的是，研究人员的预训练利用了两个监督信号：视频的文本描述，以及上下文自监督，使VideoPrism能够在以外观和动作为中心的任务上表现出色。
事实上，之前的研究表明，视频字幕主要揭示外观线索，而上下文我监督有助于学习动作。
图片
实验结果
接下来，研究人员在广泛的以视频为中心的理解任务上评估VideoPrism，展现其能力和通用性。
主要分为以下四类：
(1) 一般仅视频理解，包括分类和时空定位
(2) 零样本视频文本检索
(3) 零样本视频字幕和质量检查
(4) 科学领域的CV任务
分类和时空定位
表2显示了VideoGLUE上的冻结骨干的结果。
在所有数据集上，VideoPrism都大幅优于基线。此外，将VideoPrism的底层模型大小从ViT-B增加到ViT-g可以显着提高性能。
值得注意的是，没有基线方法能在所有基准测试中取得第二好的成绩，这表明以前的方法可能是针对视频理解的某些方面而开发的。
而VideoPrism在这一广泛的任务上持续改进。
这一结果表明，VideoPrism将各种视频信号整合到了一个编码器中：多种粒度的语义、外观与运动线索、时空信息以及对不同视频源（如网络视频与脚本表演）的鲁棒性。
图片
零样本视频文本检索和分类
表3和表4分别总结了视频文本检索和视频分类的结果。
VideoPrism的性能刷新多项基准，而且在具有挑战性的数据集上，VideoPrism 与之前的技术相比取得了非常显著的进步。
图片
基础模型VideoPrism-B 的大多数结果，实际上优于现有的更大规模模型。
此外，VideoPrism与表4中使用域内数据和额外模态（例如音频）预训练的模型相当，甚至更好。这些在零样本检索和分类任务中的改进体现了VideoPrism强大的泛化能力。
图片
零样本视频字幕和质量检查
表5和表6分别显示了，零样本视频字幕和QA的结果。
尽管模型架构简单且适配器参数数量较少，但最新模型仍具有竞争力，除VATEX外，在冻结视觉和语言模型的方法中名列前茅。
结果表明，VideoPrism编码器能够很好地推广到视频到语言的生成任务。
图片
科学领域的CV任务
通用ViFM在所有评估中使用共享的冻结编码器，其性能与专门用于单个任务的特定领域模型相媲美。
尤其是，VideoPrism通常表现最好，并超越了具有基本规模模型的领域专家模型。
扩展到大规模模型可以进一步提高所有数据集的性能。这些结果表明ViFM有潜力显著加速不同领域的视频分析。
消融研究
图4显示了消融结果。值得注意的是，VideoPrism在SSv2上的持续改进表明，数据管理和模型设计工作在促进视频中的运动理解方面的有效性。
尽管对比基线已经在K400上取得了有竞争力的结果，但所提出的全局蒸馏和token洗牌进一步提高了准确性。
图片
参考资料：
https://arxiv.org/pdf/2402.13217.pdf
https://blog.research.google/2024/02/videoprism-foundational-visual-encoder.html
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。