单帧标注视频就能学到片段特征，达到全监督性能！华科拿下时序行为检测新SOTA
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
如何从一段视频中找出感兴趣的片段？时序行为检测（TemporalActionLocalization，TAL）是一种常用方法。利用视频内容进行建模之后，就可以在整段视频当中自由搜索了。而华中科技大学与密歇根大学的联合团队最近又为这项技术带来了新的进展——过去TAL中的建模是片段甚至实例级的，而现在只要视频里的一帧就能实现，效果媲美全监督。来自华中科技大学的团队提出了一种名为HR-Pro的新框架，用于点标注监督的时序行为检测。通过多层级的reliabilitypropagation，HR-Pro可以网络学习
如何从一段视频中找出感兴趣的片段？时序行为检测（Temporal Action Localization，TAL）是一种常用方法。
利用视频内容进行建模之后，就可以在整段视频当中自由搜索了。
而华中科技大学与密歇根大学的联合团队最近又为这项技术带来了新的进展——
过去TAL中的建模是片段甚至实例级的，而现在只要视频里的一帧就能实现，效果媲美全监督。
来自华中科技大学的团队提出了一种名为HR-Pro的新框架，用于点标注监督的时序行为检测。
通过多层级的reliability propagation，HR-Pro可以网络学习到更具辨别力的片段级特征和更可靠的实例级边界。
HR-Pro由两个可靠性感知的阶段组成，它能够有效地从片段级别和实例级别的点标注中传播高置信度的线索，从而使网络学习到更具区分性的片段表示和更可靠的提议。
在多个基准数据集上进行的实验表明，HR-Pro优于现有方法，结果最先进，证明了其有效性和点标注的潜力。
表现比肩全监督方式
下图展示了HR-Pro与LACP在THUMOS14测试视频上进行时序行为检测表现比较。
HR-Pro展现出更了准确的动作实例检测，具体来说：
- 对于“高尔夫挥杆”行为，HR-Pro有效地区分了行为和背景片段，减轻了LACP难以处理的False Positive预测；
- 对于铁饼投掷行为，HR-Pro检测到比LACP更完整的片段，后者在非区分性动作片段上具有较低的激活值。
数据集上的测试结果，也印证了这一直观感受。
将THUMOS14数据集上的检测结果可视化后可以观察到，在实例级别完整性学习之后，高质量预测和低质量预测之间的差异显著增大。
（左侧是实例级别完整性学习之前的结果，右侧是学习之后的结果。横轴和纵轴分别表示时间和可靠性分数。）
整体来看，在常用4个数据集中，HR-Pro的性能均大幅超越最先进的点监督方法，在THUMOS14数据集上的平均mAP达到60.3%，相较之前的SoTA方法(53.7%)的提升为6.5%，并且能与一些全监督方法达到相当的效果。
在THUMOS14测试集上与下表中的先前最先进方法相比，对于IoU阈值在0.1到0.7之间，HR-Pro的平均mAP为60.3%，比先前最先进方法CRRC-Net高6.5%。
并且HR-Pro能够与具有竞争力的全监督方法达到相当的表现，例如AFSD（对于IoU阈值在0.3到0.7之间，平均mAP为51.1% vs. 52.0%）。
△HR-Pro与前SOTA方法在THUMOS14数据集上的对比
在各种基准数据集上的通用性和优越性方面，HR-Pro也明显优于现有方法，在GTEA、BEOID和ActivityNet 1.3上分别取得了3.8%、7.6%和2.0%的提高。
△HR-Pro与前SOTA方法在GTEA等数据集上的对比
那么，HR-Pro具体是如何实现的呢？
学习分两阶段进行
研究团队提出了多层级可靠传播方法，在片段级引入可靠片段记忆模块并利用交叉注意力的方法向其他片段传播，在实例级提出基于点监督的提议生成来关联片段和实例，用于产生不同可靠度的proposals，进一步在实例级优化proposals的置信度和边界。
HR-Pro的模型结构如下图所示：时序行为检测被划分为两阶段的学习过程，即片段级别的判别性学习和实例级别的完整性学习。
阶段一：片段级判别学习
研究团队引入可靠性感知的片段级判别学习，提出为每个类别存储可靠原型，并通过视频内和视频间的方式将这些原型中的高置信度线索传播到其他片段。
片段级可靠原型构建
为了构建片段级别的可靠原型，团队创建了一个在线更新的原型memory，用于存储各类行为的可靠原型mc（其中 c = 1, 2, …, C），以便能够利用整个数据集的特征信息。
研究团队选择了具有点标注的片段特征初始化原型：
接下来，研究人员使用伪标记的行为片段特征来更新每个类别的原型，具体表述如下：
片段级可靠性感知优化
为了将片段级可靠原型的特征信息传递到其他片段，研究团队设计了一个Reliabilty-aware Attention Block（RAB），通过交叉注意力的方式实现了将原型中的可靠信息注入到其他的片段中，从而增强片段特征的鲁棒性，并增加对较不具有判别力片段的关注。
为了学习到更加具有判别里的片段特征，团队还构建了可靠性感知的片段对比损失：
阶段二：实例级完整性学习
为了充分探索实例级别行为的时序结构并优化提议的得分排名，团队引入了实例级别的动作完整性学习。
这种方法旨在通过可靠的实例原型的指导，通过实例级别的特征学习来精化提议的置信度得分和边界。
实例级可靠原型构建
为了在训练过程中利用点标注的实例级别先验信息，团队提出了一种基于点标注的提议生成方法用于生成不同Reliability的proposals。
根据其可靠性分数和相对点标注的时序位置，这些提议可以分为两种类型：
- 可靠提议（Reliable Proposals, RP）：对于每个类别中的每个点，提议包含了这个点，并具有最高的可靠性；
- 正样本提议（Positive Proposals, PP）：所有其余的候选提议。
为确保正样本和负样本数量平衡，研究团队将那些具有类别无关的注意力分数低于预定义值的片段分组为负样本提议（Negative Proposals, NP）。
实例级可靠性感知优化
为了预测每个提议的完整性分数，研究团队将敏感边界的提议特征输入至得分预测头φs:
然后用正/负样本提议与可靠提议的IoU作为指导，监督提议的完整性分数预测：
为了获得更准确边界的行为proposal，研究者将每个PP中的proposal的起始区域特征和结束区域特征输入到回归预测头φr中，以预测proposal开始和结束时间的偏移量。
进一步计算得到精细化的proposals，并希望精细化后的proposals与可靠proposal重合。
总之，HR-Pro只需很少的标注就能很好的效果大幅度降低了获取标签的成本，同时又拥有较强的泛化能力，为实际部署应用提供了有利条件。
据此，作者预计，HR-Pro将在行为分析、人机交互、驾驶分析等领域拥有广阔的应用前景。
论文地址：https://arxiv.org/abs/2308.12608
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。