DiffMap：首个利用LDM来增强高精地图构建的网络
论文标题：DiffMap:EnhancingMapSegmentationwithMapPriorUsingDiffusionModel论文作者：PeijinJia,TuopuWen,ZiangLuo,MengmengYang,KunJiang,ZhiquanLei,XueweiTang,ZiyuanLiu,LeCui,KehuaSheng,BoZhang,DiangeYang01背景简介自动驾驶车辆辆来说，高清（HD）地图能够够帮助其提高对环境理解（感知）的准确度和导航的精度。然而，人工建图面临临繁杂和
论文标题：
DiffMap: Enhancing Map Segmentation with Map Prior Using Diffusion Model
论文作者：
Peijin Jia, Tuopu Wen, Ziang Luo, Mengmeng Yang, Kun Jiang, Zhiquan Lei, Xuewei Tang, Ziyuan Liu, Le Cui, Kehua Sheng, Bo Zhang, Diange Yang
01 背景简介
自动驾驶车辆辆来说，高清（HD）地图能够够帮助其提高对环境理解（感知）的准确度和导航的精度。然而，人工建图面临临繁杂和高成本的问题。为此，当前研究将地图构建集成到BEV（鸟瞰视角）感知任务中，在BEV空间中构建栅格化HD地图视为一个分割任务，可以理解为获得BEV特征后增加使用类似于FCN（全卷积网络）的分割头。例如，HDMapNet通过LSS（Lift，Splat，Shoot）编码传感器特征，然后采用多分辨率FCN进行语义分割、实例检测和方向预测来构建地图。
然而，目前此类方法（基于像素的分类方法）仍存在固有局限性，包括可能忽略特定分类属性，这可能导致分隔带扭曲和中断、行人横道模糊以及其他类型的伪影和噪声，如图1（a）所示。这些问题不仅影响地图的结构精度，还可能直接影响自动驾驶系统的下游路径规划模块。
▲图1｜HDMapNet，DiffMap和GroundTruth效果对比
因此，模型最好能考虑HD地图的结构先验信息，如车道线的平行和笔直特性。一些生成模型在捕捉图像真实性和固有特性备这样的能力。例如，LDM（潜在扩散模型）在高保真图像生成方面展现了巨大潜力，并在与分割增强相关的任务中证明了其有效性。另外，还可以通过引入控制变量，进一步指导图像生成以满足特定的控制要求。因此，将生成模型应用于捕捉地图结构先验，有望减少分割伪影并提高地图构建性能。
在本文中，作者提到DiffMap网络。该网络首次通过使用改进的LDM作为增强模块，对现有的分割模型进行地图结构化先验建模并支持即插即用。DiffMap不仅能通过添加和删除噪声的过程学习地图先验，以确保输出与当前帧观测相匹配，还可以将BEV特征集成为控制信号，以确保输出与当前帧观测相匹配。实验结果表明，DiffMap能够有效地生成更加平滑合理的地图分割结果，同时极大地减少了伪影，提高了整体的地图构建性能。
02 相关工作
2.1 语义地图构建
在传统的高清（HD）地图构建中，语义地图通常是基于激光雷达点云手动或半自动标注的。一般基于SLAM的算法来构建全局一致的地图，并手动为地图添加语义标注。然而，这种方法费时费力，同时在更新地图方面也存在极大挑战，从而限制了其可扩展性和实时性能。
HDMapNet提出了一种使用车载传感器动态构建局部语义地图的方法。它将激光雷达点云和全景图像特征编码到鸟瞰视图（BEV）空间，并使用三个不同的头部进行解码，最终产生一个矢量化的局部语义地图。SuperFusion专注于构建远程高精度语义地图，利用激光雷达深度信息增强图像深度估计，并使用图像特征引导远程激光雷达特征预测。然后采用类似于HDMapNet的地图检测头获得语义地图。MachMap将任务划分为折线检测和多边形实例分割，并使用后处理来细化掩码以获得最终结果。后续的研究聚焦在端到端在线建图，直接获得矢量化的高清地图。无需手动标注的语义地图动态构建有效地降低了构建成本。
2.2 扩散模型应用于分割和检测
去噪扩散概率模型（DDPMs）是基于马尔可夫链的一类生成模型，在图像生成等领域展现出优秀的性能，并逐步扩展到分割和检测等各种任务。SegDiff将扩散模型应用于图像分割任务，其中使用的UNet编码器进一步解耦为三个模块：E、F和G。模块G和F分别编码输入图像I和分割图，然后在E中通过加法合并，以迭代地细化分割图。DDPMS使用基础分割模型产生初始预测先验，并利用扩散模型对先验进行细化。DiffusionDet将扩散模型扩展到目标检测框架，将目标检测建模为从噪声框到目标框的去噪扩散过程。
扩散模型也应用于自动驾驶领域，如MagicDrive利用几何约束合成街景，以及Motiondiffuser将扩散模型扩展到多智能体运动预测问题。
2.3 地图先验
目前有几种方法通过利用先验信息（包括显式的标准地图信息和隐式的时间信息）来增强模型鲁棒性，减少车载传感器的不确定性。MapLite2.0以标准定义（SD）先验地图为起点，并结合车载传感器实时推断局部高清地图。MapEx和SMERF利用标准地图数据改善车道感知和拓扑理解。SMERF采用基于Transformer的标准地图编码器编码车道线和车道类型，然后计算标准地图信息与基于传感器的鸟瞰视图（BEV）特征之间的交叉注意力，以集成标准地图信息。NMP通过将过去的地图先验数据与当前感知数据相结合，为自动驾驶汽车提供长期记忆能力。MapPrior结合判别式和生成式模型，在预测阶段将基于现有模型生成的初步预测编码为先验，注入生成模型的离散潜在空间，然后使用生成模型进行细化预测。PreSight利用先 前行程的数据优化城市尺度的神经辐射场，生成神经先验，增强后续导航中的在线感知。
03 方法精析
3.1 准备工作
3.2 整体架构
如图2所示。DiffMap作为解码器，将扩散模型纳入语义地图分割模型，该模型以周围多视角图像和LiDAR点云作为输入，将其编码为BEV空间并获得融合的BEV特征。然后采用DiffMap作为解码器生成分割图。在DiffMap模块中，将BEV特征作为条件来引导去噪过程。
▲图2｜DiffMap架构©️【深蓝AI】编译
◆语义地图构建的基线：基线主要遵循BEV编码器-解码器范式。编码器部分负责从输入数据（LiDAR和/或相机数据）中提取特征，将其转换为高维表示。同时，解码器通常作为分割头，将高维特征表示映射到相应的分割图。基线在整个框架中起两个主要作用：监督者和控制器。作为监督者，基线生成分割结果作为辅助监督。同时，作为控制器，它提供中间BEV特征作为条件控制变量，以引导扩散模型的生成过程。
◆DiffMap模块：沿袭LDM，作者在基线框架中引入DiffMap模块作为解码器。LDM主要由两部分组成：一个图像感知压缩模块（如VQVAE）和一个使用UNet构建的扩散模型。首先，编码器将地图分割ground truth 编码为潜在空间中的，其中表示潜在空间的低维度。随后，在低维潜在变量空间中执行扩散和去噪，然后使用解码器将潜在空间恢复到原始像素空间。
首先通过扩散过程添加噪声，在每个时间步获得噪声潜在图，其中。然后在去噪过程中，UNet作为噪声预测的主干网络。为了增强分割结果的监督部分，并希望DiffMap模型在训练期间直接为实例相关预测提供语义特征。因此，作者将UNet网络结构分为两个分支，一个分支用于预测噪声，如传统扩散模型，另一个分支用于预测潜在空间中的。
如图3所示。获得潜在图预测后，将其解码到原始像素空间，作为语义特征图。然后就可以按照HDMapNet提出的方法从中获得实例预测，输出三种不同头的预测：语义分割、实例嵌入和车道方向。这些预测随后用于后处理步骤以矢量化地图。
▲图3｜去噪模块
整个过程是一个有条件的生成过程，根据当前传感器输入下获得地图分割结果。其结果的概率分布可以建模为，其中表示地图分割结果，表示条件控制变量，即BEV特征。作者这里用了两种方式融合控制变量。首先，由于和BEV特征在空间域上具有相同的类别和尺度，将调整为潜在空间大小，然后将它们串联作为去噪过程的输入，如公式5所示。
其次，将交叉注意力机制融入到UNet网络的每一层，其中作为key/value，作为query。交叉注意力模块的公式如下：
3.3 具体实现
◆训练：
◆推理：
04 实验
4.1 实验细节
◆数据集：在nuScenes数据集上验证DiffMap。nuScenes数据集包含1000个场景的多视角图像和点云，其中700个场景用于训练，150个用于验证，150个用于测试。nuScenes数据集还包含注释的高清地图语义标签。
◆架构：使用ResNet-101作为相机分支的主干网络，使用PointPillars作为模型的LiDAR分支主干网络。基线模型中的分割头是基于ResNet-18的FCN网络。对于自编码器，采用VQVAE，该模型在nuScenes分割地图数据集上进行了预训练，以提取地图特征并将地图压缩为基本潜在空间。最后使用UNet来构建扩散网络。
◆训练细节：使用AdamW优化器训练VQVAE模型30个epoch。使用的学习率调度器是LambdaLR，它以指数衰减模式逐渐降低学习率，衰减因子为0.95。初始学习率设置为，批量大小为8。然后，使用AdamW优化器从头开始训练扩散模型30个epoch，初始学习率为2e-4。采用MultiStepLR调度器，该调度器根据指定的里程碑时间点（0.7、0.9、1.0）和在不同训练阶段的缩放因子1/3来调整学习率。最后将BEV分割结果设置为0.15m的分辨率，并将LiDAR点云体素化。HDMapNet的检测范围为[-30m，30m]×[-15m，15m]m，因此相应的BEV地图大小为400×200，而Superfusion使用[0m，90m]×[-15m，15m]并得到600×200的结果。由于LDM的维度约束（在VAE和UNet中下采样8倍），需要将语义地面实况地图的大小填充到64的倍数。
◆推理细节：通过在当前BEV特征条件下对噪声地图执行去噪过程20次来获得预测结果。使用3次采样的平均值作为最终的预测结果。
4.2 评估指标
主要针对地图语义分割和实例检测任务进行平评估。且主要集中在三个静态地图元素上：车道边界、车道分隔线和行人横道。
4.3 评估结果
表1显示了语义地图分割的 IoU 得分比较。DiffMap 在所有区间都显示出显著的改善，尤其在车道分隔线和行人横道上取得了最佳结果。
▲表1｜IoU得分比较
如表2所示，DiffMap方法在平均精度（AP）方面也有显著提升，验证了 DiffMap 的有效性。
▲表2｜MAP得分比较
如表3所示，将DiffMap范式集成到HDMapNet中时，可以观察到，无论是仅使用摄像头还是摄像头-激光雷达融合方法，DiffMap都能提高HDMapNet的性能。这说明DiffMap方法在各类分割任务上都很有效，包括远距离和近距离检测。然而对于边界，DiffMap的表现并不出色，这是因为边界的形状结构不固定，存在许多难以预测的扭曲，从而使捕捉先验结构特征变得困难。
▲表3｜定量分析结果
4.4 消融实验
表4显示了VQVAE中不同下采样因子对检测结果的影响。通过分析DiffMap在下采样因子为4、8、16时的行为可以看到，当下采样因子设置为8x时，结果最佳。
▲表4｜消融实验结果
此外，作者还测量了删除与实例相关的预测模块对模型的影响，如表5所示。实验表明，添加此预测进一步提高了IOU。
▲表5｜消融实验结果（是否包含预测模块）
4.5 可视化
图4展示了DiffMap和基线（HDMapNet-fusion）在复杂场景中的比较。很明显，基线的分割结果忽略了元素内部的形状属性和一致性。相比之下，DiffMap展示了能够纠正这些问题的能力，产生与地图规范很好对齐的分割输出。具体而言，在案例（a）、（b）、（d）、（e）、（h）和（l）中，DiffMap有效地纠正了不准确预测的人行横道。在案例（c）、（d）、（h）、（i）、（j）和（l）中，DiffMap完成或删除了不准确的边界，使结果更接近于现实的边界几何。此外，在案例（b）、（f）、（g）、（h）、（k）和（l）中，DiffMap解决了分隔线断裂的问题，确保了相邻元素的平行性。
▲图4｜定性分析结果
05 总结与未来展望
在本文中，作者设计的DiffMap网络是一种利用潜在扩散模型学习地图结构先验的新方法，从而增强了传统的地图分割模型。该方法可以作为任何地图分割模型的辅助工具，其预测结果在远近距离检测场景中都有显著改善。由于该方法具有很强的扩展性，适合研究其他类型的先验信息，例如可以将SD地图先验集成到DiffMap的第二模块中，从增强其性能表现。将来有望在矢量化地图构建中继续有所进步。
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，