固定参数的模型有多大潜力？港中文、上海AI Lab等提出高效视频理解框架EVL
视觉基础模型近两年取得了瞩目发展。从一方面而言，基于大规模互联网数据的预训练已经给模型预置了大量的语义概念，从而具有良好的泛化性能；但另一方面，为充分利用大规模数据集带来的模型尺寸增长，使得相关模型在迁移到下游任务时面临着低效率问题，尤其是对于需要处理多帧的视频理解模型。论文链接：https://arxiv.org/abs/2208.03550代码链接：https://github.com/OpenGVLab/efficient-video-recognition基于上述两方面特点，来自香港中文大学、上海
视觉基础模型近两年取得了瞩目发展。从一方面而言，基于大规模互联网数据的预训练已经给模型预置了大量的语义概念，从而具有良好的泛化性能；但另一方面，为充分利用大规模数据集带来的模型尺寸增长，使得相关模型在迁移到下游任务时面临着低效率问题，尤其是对于需要处理多帧的视频理解模型。
- 论文链接：https://arxiv.org/abs/2208.03550
- 代码链接：https://github.com/OpenGVLab/efficient-video-recognition
基于上述两方面特点，来自香港中文大学、上海人工智能实验室等机构的研究者提出了高效的视频理解迁移学习框架 EVL，通过固定骨干基础模型的权重，节省了训练计算量和内存消耗；同时通过利用多层次、细粒度的中间特征，尽可能保持了传统端到端微调的灵活性。
下图 1 展示了 EVL 方法在视频理解数据集 Kinetics-400 上的结果。实验显示，本文方法在节省训练开销的同时，仍然充分发掘了视觉基础模型在视频理解任务中的潜力。
图 1：Kinetics-400 识别精度比较，横轴为推理计算量，纵轴为精度。
方法
算法的总体示意图如图 2（a）所示。对于一个视频样本，我们取其中的 T 帧输入一个图像识别网络（以 CLIP 为例）并提取特征。与传统方法相比，我们从图像识别网络的最后几层中提取多层、未池化的特征，从而获取更丰富、更细粒度的图像信息；并且图像识别网络的参数权重在视频学习中始终保持固定。随后，多层特征图依次输入一个 Transformer 解码器进行视频级信息聚合。经多层解码后的 [CLS] 特征将用于生成最终的分类预测。
如图 2（b）所示，由于 Transformer 解码器聚合特征时的无序性，我们在网络中添加了额外的时序信息建模模块，以更好地提取位置有关的细粒度时序信息。具体而言，我们添加 3 种额外的位置有关时序信息：第一是时间位置嵌入（Position Embeddings），第二是时间维度深度可分卷积（Depthwise Convolution），第三是相邻帧间的注意力信息。对于帧间注意力信息，我们从图像识别网络中提取对应层的 Query 和 Key 特征，并在相邻帧之间计算注意力图（不同于图像识别网络中，注意力图是由来自同一帧内的 Query 和 Key 特征得到）。所得的注意力图能显式地反映出相邻帧之间物体的位置变化。注意力图经过线性投影后得到反应物体位移特征的向量组，并以逐元素相加的形式融合入图像特征中。
图 2：EVL 算法结构图。（a）总体结构，（b）时序信息建模模块。
图 3：帧间注意力特征的数学表达。
实验
在图 1 和表 1 中，我们引用了之前视频理解中的部分重要方法。尽管着力于减小训练开销，我们的方法仍然能在精度方面领先于现有方法（相同计算量下）。
表 2 中我们展示了固定骨干网络带来的训练开销降低。内存方面，在 V100 16GB GPU 上，固定骨干网络可以使单卡 batch size 最高达到 64，而端到端训练则只能达到 8；时间方面，固定骨干网络可以节省 3 至 4 倍的训练时间。
表 3 中我们展示了细粒度特征图对识别性能的提升。多层的未经池化特征使得我们在固定骨干网络权值时仍然能保持相当程度的灵活性。使用未经池化的特征带来的提升最为显著（大约 3%），其次，使用多层解码器和中间层特征也能分别带来大约 1% 的性能提升。
最后我们在表 4 中展示了细粒度时序信息模块的效果。尽管细粒度时序信息对 Kinetics-400 的性能影响有限，但它们对于 Something-Something-v2 的性能十分重要：3 种细粒度时序信息模块在 Kinetics-400 和 Something-Something-v2 上分别合计带来大约 0.5% 和大约 14% 的性能提升。
表 1：Kinetics-400 上与现有方法的对比结果
表 2：固定骨干网络权重带来的训练开销降低
表 3：细粒度特征图对精度的影响
表 4：细粒度时序信息建模在不同数据集上的效果
总结
本文提出了 EVL 视频理解学习框架，首次展示了固定的图像骨干网络在视频理解问题上的巨大潜力，也使得高性能的视频理解对于计算资源有限的研究群体更加友好。我们也相信随着视觉基础模型在质量及规模上的提升，我们的方法能为后续的轻量级迁移学习算法研究提供参考。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。