世界模型大放异彩！这20多种自动驾驶场景数据的逼真程度令人难以置信......
你认为这是一个普通无趣的自动驾驶视频吗？这段内容不需要改变原意，需要将其改写为中文没有一帧是“真的”。不同路况、各种天气，20多种情况都能模拟，效果以假乱真。世界模型再次展现出其强大的作用！这一次，LeCun看到后都激动地转发了如上效果，由GAIA-1的最新版本带来。它规模达90亿参数，用4700小时驾驶视频训练，实现了输入视频、文本或操作生成自动驾驶视频的效果。带来的最直接好处就是，能够更好地预测未来事件。它可以模拟超过20种场景，从而进一步提高自动驾驶的安全性，并降低成本主创团队表示，这将改变自动驾驶
你认为这是一个普通无趣的自动驾驶视频吗？
这段内容不需要改变原意，需要将其改写为中文
没有一帧是“真的”。
不同路况、各种天气，20多种情况都能模拟，效果以假乱真。
世界模型再次展现出其强大的作用！这一次，LeCun看到后都激动地转发了
如上效果，由GAIA-1的最新版本带来。
它规模达90亿参数，用4700小时驾驶视频训练，实现了输入视频、文本或操作生成自动驾驶视频的效果。
带来的最直接好处就是，能够更好地预测未来事件。它可以模拟超过20种场景，从而进一步提高自动驾驶的安全性，并降低成本
主创团队表示，这将改变自动驾驶的游戏规则！
GAIA-1是如何实现的？其实之前我们已经在自动驾驶的Daily中详细介绍了Wayve团队开发的GAIA-1：一种用于自动驾驶的生成式世界模型。如果你对此感兴趣，可以去我们的公众号阅读相关内容！
规模越大效果越好
GAIA-1是一个多模态生成式世界模型，它能够通过整合视觉、听觉和语言等多种感知方式来理解和生成世界的表达。这个模型通过深度学习算法，能够从大量的数据中学习并推理出世界的结构和规律。GAIA-1的目标是模拟人类的感知和认知能力，以便更好地理解和交互世界。它在许多领域都有广泛的应用，包括自动驾驶、机器人技术和虚拟现实等。通过不断地训练和优化，GAIA-1将不断进化和提升，成为一个更加智能和全面的世界模型
它使用视频、文本和动作作为输入，并生成逼真的驾驶场景视频，同时可以对自动驾驶车辆的行为和场景特征进行精细控制
而且可以仅通过文本提示来生成视频。
其模型原理类似于大型语言模型的原理，即预测下一个令牌
模型可以利用向量量化表示将视频帧离散，然后预测未来场景，就转换成了预测序列中的下一个token。然后再利用扩散模型从世界模型的语言空间里生成高质量视频。
具体步骤如下：
第一步简单理解，就是对各种输入进行重新编码和排列组合。
通过使用专门的编码器对各种输入进行编码，可以将不同的输入投射到共享表示中。文本和视频编码器将输入分离、嵌入，而操作表示则被单独投射到共享表示中
这些编码的表示具有时间的一致性
在进行排列之后，关键部分世界模型登场。
作为一个自回归Transformer，它有能力预测序列中的下一组图像令牌。它不仅考虑了之前的图像令牌，还要同时考虑文本和操作的上下文信息
模型生成的内容不仅保持了图像的一致性，还能与预测的文本和动作保持一致
团队介绍，GAIA-1中的世界模型规模为65亿参数，在64块A100上训练15天而成。
通过使用视频解码器和视频扩散模型，最后将这些令牌转换回视频
这一步关乎视频的语义质量、图像准确性和时间一致性。
GAIA-1的视频解码器规模达26亿参数规模，利用32台A100训练15天而来。
值得一提的是，GAIA-1不仅和大语言模型原理相似，同时也呈现出了随着模型规模扩大、生成质量提升的特点。
团队对先前的6月份发布的早期版本和最新效果进行了对比
后者规模为前者的480倍。
可以直观看到视频在细节、分辨率等方面都有明显提升。
而从实际应用方面出发，GAIA-1也带来了影响，其主创团队表示，这会改变自动驾驶的规则。
原因来自三方面：
- 安全
- 综合训练数据
- 长尾场景
首先安全方面，世界模型能够通过模拟未来，让AI有能力意识到自己的决定，这对自动驾驶的安全性来说很关键。
其次，训练数据对于自动驾驶来说也非常关键。生成的数据更加安全、便宜，而且还能无限扩展。
生成式AI能够解决自动驾驶面临的一个主要挑战——长尾场景。它可以处理更多边缘情况，例如在大雾天气中遇到横穿马路的行人。这将进一步提高自动驾驶的性能
Wayve是谁？
GAIA-1来自英国自动驾驶初创公司Wayve。
Wayve成立于2017年，投资方有微软等，估值已经达到了独角兽。
创始人为现任首席执行官亚历克斯·肯德尔和艾玛尔·沙（公司官网领导层页已无其信息），两人均毕业于剑桥大学，拥有机器学习博士学位
技术路线上，和特斯拉一样，Wayve主张利用摄像头的纯视觉方案，很早就抛弃高精地图，坚定的走“即时感知”路线。
前不久，该团队发布的另一个大模型LINGO-1也引发轰动。
这个自动驾驶模型在行车过程中能够实时生成解说，从而进一步提高了模型的可解释性
今年3月，比尔·盖茨还曾试乘过过Wayve的自动驾驶汽车。
论文地址：https://arxiv.org/abs/2309.17080
需要被改写的内容是：原文链接：https://mp.weixin.qq.com/s/bwTDovx9-UArk5lx5pZPag
正软商城本月促销专区，汇集办公、设计、安全、影音、系统工具及AI软件等正版软件优惠活动，提供限时折扣、特价授权和优惠购买信息，活动库存及价格以页面实时展示为准。
正软商城装机必备专区，精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件，帮助用户快速完成新电脑软件配置。
正软商城Windows软件专区，汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件，提供软件介绍、系统要求、正版授权及购买下载服务。
正软商城macOS软件专区，精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具，提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。
正软商城iOS软件专区，精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用，提供功能介绍、适用设备、系统要求和正版获取方式等信息。
正软商城AI软件专区，汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具，提供功能介绍、适用平台、收费方式及正版购买信息。
正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法，同时介绍常用PDF软件和工具的使用技巧。
赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
