Sparse4D v3来了！推进端到端3D检测和跟踪
新标题：Sparse4Dv3：推进端到端的3D检测和跟踪技术论文链接：https://arxiv.org/pdf/2311.11722.pdf需要重新写的内容是：代码链接：https://github.com/linxuewu/Sparse4D重新写的内容：作者所属单位为地平线公司论文思路：在自动驾驶感知系统中，3D检测和跟踪是两项基本任务。本文基于Sparse4D框架更深入地研究了该领域。本文引入了两个辅助训练任务（时序实例去噪-TemporalInstanceDenoising和质量估计-Qualit
新标题：Sparse4D v3：推进端到端的3D检测和跟踪技术
论文链接：https://arxiv.org/pdf/2311.11722.pdf
需要重新写的内容是：代码链接：https://github.com/linxuewu/Sparse4D
重新写的内容：作者所属单位为地平线公司
论文思路：
在自动驾驶感知系统中，3D检测和跟踪是两项基本任务。本文基于 Sparse4D 框架更深入地研究了该领域。本文引入了两个辅助训练任务（时序实例去噪-Temporal Instance Denoising和质量估计-Quality Estimation），并提出解耦注意力(decoupled attention)来进行结构改进，从而显着提高检测性能。此外，本文使用一种简单的方法将检测器扩展到跟踪器，该方法在推理过程中分配实例 ID，进一步突出了 query-based 算法的优势。在 nuScenes 基准上进行的大量实验验证了所提出的改进的有效性。以ResNet50为骨干，mAP、NDS和AMOTA分别提高了3.0%、2.2%和7.6%，分别达到46.9%、56.1%和49.0%。本文最好的模型在 nuScenes 测试集上实现了 71.9% NDS 和 67.7% AMOTA
主要贡献：
Sparse4D-v3 是一个强大的 3D 感知框架，它提出了三种有效的策略：时序实例去噪、质量估计和解耦注意力
本文将 Sparse4D 扩展为端到端跟踪模型。
本文展示了 nuScenes 改进的有效性，在检测和跟踪任务中实现了最先进的性能。
网络设计：
首先，观察到与稠密算法相比，稀疏算法在收敛方面面临更大的挑战，从而影响了最终性能。这个问题已经在2D检测领域得到了充分研究[17,48,53]，主要原因是稀疏算法使用了一对一的正样本匹配。这种匹配方式在训练初期不稳定，而且与一对多匹配相比，正样本数量有限，从而降低了解码器训练的效率。此外，Sparse4D使用稀疏特征采样而不是全局交叉注意力，由于正样本稀缺，这进一步阻碍了编码器的收敛。在Sparse4Dv2中，引入了密集深度监督来部分缓解图像编码器面临的这些收敛问题。本文的主要目标是通过关注解码器训练的稳定性来增强模型性能。本文将去噪任务作为辅助监督，并将去噪技术从2D单帧检测扩展到3D时序检测。这不仅保证了稳定的正样本匹配，而且显著增加了正样本的数量。此外，本文还引入了质量评估任务作为辅助监督。这使得输出的置信度分数更加合理，提高了检测结果排名的准确性，从而获得更高的评估指标。此外，本文改进了Sparse4D中实例自注意力和时序交叉注意力模块的结构，引入了一种解耦注意力机制，旨在减少注意力权重计算过程中的特征干扰。通过将锚点嵌入和实例特征作为注意力计算的输入，可以减少注意力权重中存在异常值的实例。这样可以更准确地反映目标特征之间的相互关联，从而实现正确的特征聚合。本文使用连接而不是注意力机制来显著减少这种错误。这种增强方法与条件DETR有相似之处，但关键区别在于本文强调查询之间的注意力，而条件DETR则专注于查询和图像特征之间的交叉注意力。此外，本文还涉及独特的编码方法
为了提高感知系统的端到端能力，本文研究了将3D多目标跟踪任务集成到Sparse4D框架中的方法，以直接输出目标的运动轨迹。与基于检测的跟踪方法不同，本文通过消除数据关联和过滤的需求，将所有跟踪功能整合到检测器中。此外，与现有的联合检测和跟踪方法不同，本文的跟踪器在训练过程中无需进行修改或调整损失函数。它不需要提供ground truth IDs，而是实现了预定义的实例到跟踪的回归。本文的跟踪实现充分融合了检测器和跟踪器，无需修改检测器的训练过程，也无需额外微调
这是一个关于Sparse4D框架概述的图1，输入是多视图视频，输出是所有帧的感知结果
图 2：不同算法的 nuScenes 验证数据集上的推理效率 (FPS) - 感知性能 (mAP)。
图 3：实例自注意力中的注意力权重的可视化：1）第一行显示了普通自注意力中的注意力权重，其中红色圆圈中的行人显示出与目标车辆（绿色框）的意外相关性。2）第二行显示了解耦注意力中的注意力权重，有效解决了该问题。
第四张图展示了时序实例去噪的示例。在训练阶段，实例包括两个部分：可学习的和噪声的。噪声实例由时间和非时间元素组成。本文采用预匹配方法来分配正样本和负样本，即将 anchors 与 ground truth 进行匹配，而可学习实例则与预测和 ground truth 进行匹配。在测试阶段，只保留绿色块。为防止特征在 groups 之间传播，采用了 Attention mask，灰色表示 queries 和 keys 之间没有注意力，绿色表示相反
请看图5：锚点编码器和注意力的架构。本文独立地对锚点的多个组件进行了高维特征编码，然后将它们连接起来。与原始的Sparse4D相比，这种方法可以减少计算和参数的开销。E和F分别表示锚点嵌入和实例特征
实验结果：
总结:
本文首先提出了增强 Sparse4D 检测性能的方法。这一增强主要包括三个方面：时序实例去噪、质量估计和解耦注意力。随后，本文说明了将 Sparse4D 扩展为端到端跟踪模型的过程。本文在 nuScenes 上的实验表明，这些增强功能显着提高了性能，使 Sparse4Dv3 处于该领域的前沿。
引用：
Lin, X., Pei, Z., Lin, T., Huang, L., & Su, Z. (2023). Sparse4D v3: Advancing End-to-End 3D Detection and Tracking. ArXiv. /abs/2311.11722
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。