PillarNEst：如何进一步优化基于Pillar的3D目标检测性能？
写在前面&&笔者的个人理解在自动驾驶领域，一辆自动驾驶汽车通常配备多种传感器，例如激光雷达传感器用于采集点云数据，相机传感器用于采集图像数据等。由于激光雷达传感器能够更准确地获取待检测物体的几何和位置信息，因此基于点云的感知算法模型得以迅速迭代和发展。目前，基于点云的感知算法主要分为以下两大类一类是基于Voxel-based的感知算法，如经典的SECOND、VoxelNet等算法。Voxel-based的算法模型首先会将输入的点云数据转换成3D的体素结构表示，然后利用3D的卷积算法模型实现后续的特征提取，
写在前面 && 笔者的个人理解
在自动驾驶领域，一辆自动驾驶汽车通常配备多种传感器，例如激光雷达传感器用于采集点云数据，相机传感器用于采集图像数据等。由于激光雷达传感器能够更准确地获取待检测物体的几何和位置信息，因此基于点云的感知算法模型得以迅速迭代和发展。目前，基于点云的感知算法主要分为以下两大类
- 一类是基于Voxel-based的感知算法，如经典的SECOND、VoxelNet等算法。Voxel-based的算法模型首先会将输入的点云数据转换成3D的体素结构表示，然后利用3D的卷积算法模型实现后续的特征提取，将提取后的3D特征送入到后续的模块当中。
- 另外一类是基于Pillar-based的感知算法，如经典的PointPillar、PillaNext、PillarNet等算法。Pillar-based的算法模型并不依赖3D的卷积网络来获取点云特征，而是直接将点云数据构建成柱状的数据从而实现更快的检测速度，方便后续的上车部署等任务。
尽管目前广泛采用基于Pillar的算法模型，因为其部署方便、精度高，但是目前这些模型主要使用随机初始化的方法对2D卷积神经网络进行初始化。这导致很多在ImageNet上预训练的2D主干网络并没有被有效利用，造成资源浪费。另外，目前来看，基于点云的感知算法模型尺寸放大并没有导致精度上升的现象。而在2D检测任务中，预训练的主干网络和更大尺寸的主干网络在大规模数据集上都展现出更好的优势
所以，今天解析的这篇论文就是要探索2D主干网络的规模大小和预训练对于Pillar-based的3D目标检测器的性能影响。
以下是论文的arxiv链接：https://arxiv.org/pdf/2311.17770.pdf
PillarNeSt的算法解析
首先，让我们来介绍PillarNeSt算法模型的整体框架结构，如下图所示
PillarNeSt算法模型的网络框图
通过观察上图可知，PillarNeSt采用了点云感知算法中经典的架构模型（CenterPoint-Pillars）作为基线模型。然而，为了构建一个更强大的基线模型，论文作者对原有的PointPillars算法进行了修改。为了使读者更清楚地了解每个部分的修改位置，首先简单列举了CenterPoint-Pillars算法模型的几个基础模块
- 点云的伪图像表示：利用Pillar Encoder模块完成原始输入到模型中的点云数据向伪图像格式的表示
- 2D的主干网络完成伪图像的特征提取
- 利用Neck模块融合2D主干网络提取出来的多尺度特征图
- 利用3D检测头（CenerHead）输出最终的3D检测结果
- 根据损失函数计算损失loss，利用反向传播代码更新网络的参数值
接下来，我们将根据前面提到的每个基础模块，逐步进行修改和增强，最终构建出PillarNeSt算法模型
Pillar Encoder
在CenterPoint-Pillars算法模型的原始版本中，Pillar Encoder模块首先使用多层感知机结构提取点云数据的特征，然后采用Max Pooling层提取Pillar特征。然而，在本文中，作者认为只使用Max Pooling层会导致信息的丧失。基于此，作者在原有的Max Pooling层基础上添加了一个Mean Pooling层，以获取更多有用的信息。此外，作者还引入了每个点相对于几何中心高度的偏移量作为模块的输入，以补偿在Z轴上的信息丢失
“
在这篇论文中，我们同时使用最大池化和平均池化来保留更多的信息。此外，我们还引入了点的高度偏移，相对于几何中心的输入，以补偿在z轴上的信息损失
“
2D Backbone的重新设计
- 采用更大尺寸的卷积核
论文的作者提出，在2D图像领域中，通过增加网络模型的层数或者是深度，模型的有效感受野大小并没有得到有效的增加。而针对Pillar-based的算法模型也需要对伪图像点云数据进行特征提取。受到最近几篇Large-Kernel工作的启发，作者认为通过使用更大的卷积核可以使模型的有效感受野（ERF）增加，从而增加基于点云的感知算法的检测性能。同时，论文的作者为了平衡好模型速度和精度二者之间的关系，在本文中，采用了卷积核大小为7x7的深度可分离卷积层。
一些最近的研究认为，通过使用更大的卷积核可以有效地实现较大的有效感受野。此外，更大的感受野有助于提高点云检测器的能力
- 在第一层移除下采样操作
论文的作者考虑到图像当中有很多像素的信息都是存在冗余的，而常见的2D主干网络通常都会包括步长为2的卷积层对提取的图像特征进行下采样操作，从而降低后续卷积操作的运算成本。
但是对于点云信息而言却有所不同，由于原始的点云数据是稀疏而且是不规则的，而且包含了物体非常丰富的几何和结构信息。但是如果过早的应用下采样层就会导致点云中关键信息的损失。论文的作者基于这些考虑，在新设计的算法模型当中，删除了在第一个层存在的下采样层，从而保证了输入到后续层的分辨率，保存了输入数据的有效信息。
我们的骨干网络设计去除了干扰因素，并避免在第一阶段块中进行下采样。这个战略选择确保了输入特征的原始分辨率的保持
- 模型早期添加更多的block
作者指出，针对2D图像领域而言，通常都会在网络模型的后面几层堆叠更多的block来提取更抽象的语义特征，从而获取更加丰富的语义表达。但是考虑到点云数据是不规则同时也是稀疏的特点，这就意味着应该在模型的早期堆叠更多的block来完全提取出点云中包含的数据信息。作者也在论文中提到，通过实验结果也可以得出类似的结论，与在主干网络的后期堆叠block相比，在主干网络的前几层堆叠block可以获得更高的检测结果收益。
我们的大量实验表明，在早期阶段增加块的数量比在后期阶段增加更多块的效果更好
- 更深层次的层
论文的作者通过对点云的场景进行分析认为，不同物体的尺寸大小变化是非常巨大的。在针对Pillar-based的算法中而言，当Pillar的的尺寸设置为0.2m时，8倍的下采样后最大可感知范围为1.6m。然而，现实场景中的许多对象超过了有限的可感知范围。这意味着8倍下采样后的特征点不能完全感知大物体的整个物体。
基于此，作者采用了一种简单易行的方法来缓解这个问题，在主干网络第四层的输出基础上，额外再添加一层并标记为第五层。第五层模块包含的模块数量可以根据模型的规模进行扩展。
we adopt a simple way and add one more stage (named stage-5) on top of stage-4, which contains only one or two ConNeXt blocks. The block number of stage-5 can be scaled up based on the model size. The output of added stage-5 is served as one of the multi-scale inputs of the neck network.
主干网络缩放
在本文中，论文的一个重要目标是设计出一组可调整的网络结构模型，以在参数量和精度之间取得平衡。作者提出了一系列2D主干网络，从PillarNeSt-Tiny到PillarNeSt-Large，以满足不同参数量和精度的需求。下图展示了不同尺度的网络模型配置
不同PillarNeSt模型的参数配置情况
通过上图可以看出，不同版本的模型共用相似的模型结构。每个模型包括五层结构，上文已经提到过的第一层去掉了降采样层，对于剩余的其他层都会进行降采样的操作
在论文中，还为不同规模的主干网络模型提供了更加简便的表示方法，如下图所示
对于不同的PillarNeSt模型，进行通道数和block数的统计
主干网络预训练
为了达到作者的另一个目标，即利用在ImageNet上预训练的2D主干网络的优势，同时论文中的主干网络是基于ConvNeXt进行修改的，因此无法直接将原有的在ImageNet上预训练的ConvNeXt迁移到新设计的网络结构上。为此，论文采用了两种参数初始化方法，分别是基于stage view和micro view的初始化方法
- stage view
直接简单地从预训练的ConvNeXt模型中复制权重，用于用于Stage1-4，而添加的最后层（Stage-5）进行随机的初始化。对于Stage1-4，如果块数小于ConvNeXt的块数，我们只根据块标识复制相应块的参数 - micro view
从预训练的ConvNeXt模型的前Cin个通道复制训练好的参数，而对于剩余的通道则采用随机初始化的方式赋值参数
实验部分
在nuScenes和Argoverse2数据集上对PillarNeSt算法模型进行了有效性测试。首先，我们展示了在nuScenes数据集上的结果
根据实验结果显示，PillarNeSt-Large算法模型在最大参数量下实现了64.3的mAP，相比其他基于点云的感知算法模型，取得了显著的优势
在Argoverse2数据集中，PillarNeSt的性能表现依然出色，除了在nuScenes数据集上的对比结果之外
从表格结果可以看出，PillarNeSt-Base算法模型在mAP和CDS指标上表现出最优的检测性能，明显优于其他基于点云的感知算法模型
通过上述实验结果表格，清楚地展示了该方法成功实现了一组可扩展的网络结构。根据具体情况，可以选择不同参数量的算法模型以获得不同的精度效果。针对论文中提出的预训练问题，同样提供了下图所示的实验结果
实验结果已经很好地证明了，论文中设计的网络结构继承了来自ImageNet上预训练得到的知识信息，无论是mAP还是训练损失，加载了预训练模型的效果都优于不采用预训练模型的效果
总结
目前，尽管基于点云的感知算法已经取得了很大的进步，但是针对Pillar-base算法模型中的2D主干网络依旧采用随机初始化的方式，没有使用到来自ImageNet预训练的网络模型，同时基于点云的算法模型也没得到不同尺度规模带来的优势
PillarNeSt是一个很好的解决方案，可以解决上述提到的两个问题。希望这篇解析能对大家有所帮助
原文链接：https://mp.weixin.qq.com/s/NJoAOyTuk9INQRJtJKz__g
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。