首篇仅使用2D标签训练多视图3D占用模型的新范式
Autodesk 3ds Max 是一款专业的三维建模、动画与渲染软件，广泛应用于建筑可视化、游戏开发、影视动画、广告设计和产品展示等领域。
本文经自动驾驶之心公众号授权转载，转载请联系出处。【RenderOcc，首篇仅使用2D标签训练多视图3D占用模型的新范式】作者从多视图图像中提取NeRF风格的3D体积表示，并使用体积渲染技术来建立2D重建，从而实现从2D语义和深度标签的直接3D监督，减少了对昂贵的3D占用标注的依赖。大量实验表明，RenderOcc的性能与使用3D标签完全监督的模型相当，突显了这种方法在现实世界应用中的重要性。已开源。题目:RenderOcc:Vision-Centric3DOccupancyPredictionwith2
本文经自动驾驶之心公众号授权转载，转载请联系出处。
【RenderOcc，首篇仅使用2D标签训练多视图3D占用模型的新范式】作者从多视图图像中提取NeRF风格的3D体积表示，并使用体积渲染技术来建立2D重建，从而实现从2D语义和深度标签的直接3D监督，减少了对昂贵的3D占用标注的依赖。大量实验表明，RenderOcc的性能与使用3D标签完全监督的模型相当，突显了这种方法在现实世界应用中的重要性。已开源。
题目: RenderOcc: Vision-Centric 3D Occupancy Prediction with 2DRendering Supervision
作者单位: 北京大学，小米汽车，港中文MMLAB
需要重写的内容是：开源地址：GitHub - pmj110119/RenderOcc
3D占用预测在机器人感知和自动驾驶领域具有重要前景，它将3D场景量化为带有语义标签的网格单元。最近的工作主要利用3D体素空间中的完整占用标签进行监督。然而，昂贵的标注过程和有时模糊的标签严重限制了3D占用模型的可用性和可扩展性。为了解决这个问题，作者提出了RenderOcc，这是一种仅使用2D标签训练3D占用模型的新范式。具体而言，作者从多视图图像中提取NeRF风格的3D体积表示，并使用体积渲染技术来建立2D重建，从而实现从2D语义和深度标签的直接3D监督。此外，作者引入了一种辅助光线方法来解决自动驾驶场景中的稀疏视点问题，该方法利用顺序帧为每个目标构建全面的2D渲染。RenderOcc是第一次尝试仅使用2D标签来训练多视图3D占用模型，从而减少了对昂贵的3D占用标注的依赖。大量实验表明，RenderOcc的性能与使用3D标签完全监督的模型相当，突显了这种方法在现实世界应用中的重要性。
网络结构：
图1展示了RenderOcc的一种新的训练方法。与以往依赖昂贵的3D占用标签进行监督的方法不同，本文提出的RenderOcc利用2D标签来训练3D占用网络。通过2D渲染监督，该模型能够受益于细粒度的2D像素级语义和深度监督
图2.RenderOcc的总体框架。本文通过2D到3D网络提取体积特征并预测每个体素的密度和语义。因此，本文生成了语义密度场（Semantic Density Field），它可以执行体积渲染来生成渲染的2D语义和深度。对于Rays GT的生成，本文从相邻帧中提取辅助光线来补充当前帧的光线，并使用所提出的加权光线采样策略来净化它们。然后，本文用光线GT和{}计算损失，实现2D标签的渲染监督
重写后的内容：图3。辅助光线：单帧图像无法很好地捕捉物体的多视图信息。相邻相机之间只有很小的重叠区域，视角差异有限。通过引入来自相邻帧的辅助光线，该模型可以显著受益于多视图一致性约束
实验结果：
需要进行改写的内容是：原文链接：https://mp.weixin.qq.com/s/WzI8mGoIOTOdL8irXrbSPQ
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
AirBuddy 3 是面向 macOS 的蓝牙外设增强工具，可集中查看 AirPods、Beats 与苹果设备电量，提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。
AirServer macOS版可把 Mac 转换为无线投屏接收端，通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面，并支持多设备同时连接、高清镜像及会话录制，适合家庭娱乐、课堂教学、会议演示和应用展示。
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，
AirServer Windows版可把电脑变成AirPlay、Google Cast和Miracast无线投屏接收端，适合会议演示、课堂教学及家庭大屏分享。发送设备通常无需另装客户端，并可同时接收和智能排列多个镜像会话。