毫末DriveGPT才是大模型“卷王”！主打一个“降本、增效、老司机”
2023年中国国际服务贸易交易会以“开放引领发展，合作共赢未来”为主题，在9月6日圆满落幕。在本届服贸会上，一批在人工智能、自动驾驶、卫星遥感等领域深耕多年的领军企业，展示了它们最新的科技成果，展示了它们迈向未来的步伐国内自动驾驶独角兽企业毫末智行的数据智能科学家贺翔带来了《毫末DriveGPT雪湖·海若，驱动自动驾驶3.0时代加速到来》的主题演讲，并在会后接受了媒体的采访，针对大模型时代自动驾驶技术研究与应用探索为我们带来了全面解读图片说明：毫末智行数据智能科学家贺翔（右）正在接
2023年中国国际服务贸易交易会以“开放引领发展，合作共赢未来”为主题，在9月6日圆满落幕。在本届服贸会上，一批在人工智能、自动驾驶、卫星遥感等领域深耕多年的领军企业，展示了它们最新的科技成果，展示了它们迈向未来的步伐
国内自动驾驶独角兽企业毫末智行的数据智能科学家贺翔带来了《毫末DriveGPT雪湖·海若，驱动自动驾驶3.0时代加速到来》的主题演讲，并在会后接受了媒体的采访，针对大模型时代自动驾驶技术研究与应用探索为我们带来了全面解读
图片说明：毫末智行数据智能科学家贺翔（右）正在接受媒体采访
以下是采访的记录：
主持人：贺老师能不能给我们介绍一下，毫末智行在今年的服贸会给我们带来了什么样的成果和展示？
贺翔表示，今年我们最重要的成果之一是毫末智行在4月份发布的业界首个自动驾驶生成式大模型DriveGPT
主持人：DriveGPT？听上去跟驾驶有关系？
贺翔：是的，这是一个用于解决自动驾驶领域相关问题的AI大模型，我们称之为自动驾驶生成式预训练大模型DriveGPT
主持人：生成式预训练？预训练我们怎么理解？
贺翔说：大模型的技术细节是，首先要利用海量的司机驾驶行为数据在云端进行预训练。预训练就是先将模型训练一遍，训练完后得到一个模型的原型，然后再引入司机的接管数据。所谓接管数据，指的是每次在开启自动驾驶过程中，如果自动驾驶决策不够好，司机就会发生一次接管，例如踩下刹车或扶一下方向盘。这些接管数据相当于对我们自动驾驶决策的纠正。拿到这些数据后，就可以不断对模型进行纠偏，使得模型的驾驶效果越来越好。这是一个不断纠错、不断迭代的过程，以达到更好的自动驾驶效果
主持人：可以说是对我们传统自动驾驶的一个升级。重写后的内容如下： 主持人：可以说这是对我们传统的自动驾驶进行了一次升级
贺翔：对，可以说是一种技术的变革。我们可以简单的做个对比，传统自动驾驶的技术的开发模式是当自动驾驶发现一个问题的时候，一般都会去基于这个问题，从海量的数据里面找到跟这个问题相关的数据，成本是很高的。因为海量的数据里面想要找到你要的数据没那么容易。找到这个数据之后，接下来要做的就是要把这一堆数据给标注公司，由人工的方式在这里面把问题标注出来，标注完了之后，再用这个数据去训练一个小的模型，这个模型训练完之后，再放到车上。至此这辆汽车就具备了解决这个问题的能力，我们把这种模式叫做小数据、小模型，属于“问题驱动”。
在DriveGPT这种大模型的模式之下，整个开发模式就不一样了。DriveGPT加持之下，现在的开发模式是先用海量的数据、老司机的数据、驾驶行为来进行预训练，得到一个初步的模型，这个模型就具备了驾驶的能力。当我们在自动驾驶的过程中一旦发现问题，这个司机就会发生一次接管，这个接管就相当于对驾驶决策做了一次纠正，基于这种纠正的数据再传回来纠正原来的预训练大模型，这样的数据闭环建立起来之后，这个模型的效果就会每天都在不断的进化、不断的提升。我们把这种开发模式叫做大数据、大模型，属于“数据驱动”。这是一种变革性的提升。
主持人：我们可以观察到目前自动驾驶技术的水平大约是L2级别，而现在大多数车辆已经达到了L2.5级别
贺翔： L2+，我们叫高阶辅助驾驶。
主持人：基于大模型DriveGPT的加持之下，我们可以达到什么样的水平？
贺翔：应该还是在高阶辅助驾驶阶段。我们大模型，主要是产生了两个业务价值。
第一个业务价值是在整个云端。传统的自动驾驶开发模式需要将其迁移到云端，这会带来非常高的成本，需要进行大量的数据筛选，尤其是需要人工参与和大量的人工标注。然而，有了大模型之后，整个数据的筛选、标注以及数据的生成都可以实现全自动化，这对成本的降低非常有效
举例来说，在标注领域，自动驾驶公司以往每年用于做标注的成本肯定高达数亿元，有了DriveGPT之后，可以对图片或者视频做自动化的标注，如果做视频标注或者4D Clips标注，大概能降低98%成本。即使只对单张图片做标注，成本也可以降低90%。云端的成本能得到大幅度的降低。
第二个业务价值是在车端，效果能够得到大幅度的提升。模型是基于海量的数据训练出来的，海量的数据就相当于我们的模型看过了非常非常多的数据，各种各样的场景它都见过，见多识广它的能力就越强。这种能力叫做模型或者AI的泛化能力。有了泛化能力之后，自动驾驶的效果也会更好。
此外，整个模型是基于“老司机”的驾驶行为数据训练的，是质量非常高的数据，它的整个驾驶效果或者驾驶的体感会更接近“老司机”。用户在使用的过程中会觉得驾驶体感或者说体验会更好。
第三点，我们的大型模型具有一种特殊的能力，即能够输出驾驶决策的理由。例如，当采取“踩一下刹车”或者“打了一下方向盘”这样的驾驶决策时，我们的模型能够解释为什么要这样做。如果能够提供这样的解释，智能驾驶车辆与用户之间就能够建立起很好的信任关系，用户在使用自动驾驶产品时会更加放心
通过基于大型模型和数据闭环的不断迭代，目前的高级辅助驾驶仍然需要司机随时接管。未来希望通过持续的迭代升级，逐渐实现真正的无人驾驶
主持人：从这个角度来看，不仅降低了成本，还提高了效率
贺翔说：“不需要司机一次又一次地自己去试错，大数据可以帮忙解决这个问题。它可以收集所有司机的接管行为，从而一次性解决所有的问题。这样，驾驶效果的提升速度会非常快。”
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，
Adobe Media Encoder 是 Adobe 面向视频与音频制作流程提供的专业编码和转码工具，可批量处理媒体文件、创建代理、套用输出预设并监控文件夹自动执行任务。它与 Premiere、After Effects、Audition