激发大语言模型空间推理能力：思维可视化提示
大语言模型（LLMs）在语言理解和各种推理任务中展现出令人印象深刻的性能。然而，它们在人类认知的关键一面——空间推理上，仍然未被充分研究。人类具有通过一种被称为心灵之眼的过程创造看不见的物体和行为的心智图像的能力，从而使得对未见世界的想象成为可能。受到这种认知能力的启发，研究人员提出了“思维可视化”（VisualizationofThought，VoT）。VoT旨在通过可视化其推理迹象来引导LLMs的空间推理，从而引导后续的推理步骤。研究人员将VoT应用于多跳空间推理任务，包括自然语言导航、视觉导航以及二
大语言模型（LLMs）在语言理解和各种推理任务中展现出令人印象深刻的性能。然而，它们在人类认知的关键一面——空间推理上，仍然未被充分研究。人类具有通过一种被称为 心灵之眼 的过程创造看不见的物体和行为的心智图像的能力，从而使得对未见世界的想象成为可能。受到这种认知能力的启发，研究人员提出了 “思维可视化”（Visualization of Thought，VoT）。VoT旨在通过可视化其推理迹象来引导LLMs的空间推理，从而引导后续的推理步骤。研究人员将VoT应用于多跳空间推理任务，包括自然语言导航、视觉导航以及二维网格世界中的视觉铺设。实验结果表明，VoT显著增强了LLMs的空间推理能力。值得注意的是，VoT在这些任务中表现优于现有的多模态大型语言模型（MLLMs）。
引言
近年来，大语言模型（LLMs）在各种与语言相关的任务上取得了显著的表现。尽管它们在数学推理、常识推理以及其他推理任务，如符号推理或逻辑推理等方面取得了成功，但它们在空间推理方面的能力仍未被充分探索。
空间推理是人类认知的基本功能，使我们能够与环境互动。它促进了需要理解和推理物体及其运动之间空间关系的任务。语言模型的空间推理在很大程度上依赖于语言来推理空间信息，而人类的认知能力远远超出了语言推理。人类不仅可以从视觉感知中创建与任务相关的抽象表示，还可以通过心灵之眼想象看不见的场景。这在神经科学、心灵哲学和认知科学领域被称为心智图像的研究课题。建立在这一认知功能之上，人类通过心智图像的操作来促进空间推理，比如导航、心理旋转、心理纸张折叠和心理模拟。图1说明了在导航任务中涉及的人类过程。人类通过创建路径的心智图像来增强其空间意识并指导其决策，利用各种感官输入，如导航指令或地图图像。随后，他们通过心灵之眼模拟路径规划。
图1：人类可以通过在空间推理过程中创建心智图像来增强他们的空间意识识别并指导决策。同样地，大语言模型（LLMs）可以建立内部心智图像。研究人员提出了VoT，通过可视化他们在每个中间步骤的思维，来引发LLMs的“心灵之眼”，从而促进空间推理。
受到这一认知机制的启发，研究人员推测LLMs具有在心灵之眼中创建和操作心智图像的能力来进行空间推理。正如图1所示，LLMs可能潜在地处理和理解各种格式的空间信息。它们可能能够可视化内部状态，并通过心灵之眼操作这些心智图像，从而引导后续推理步骤以增强空间推理。因此，研究人员提出了 “思维可视化”（VoT） 提示来引发这种能力。该方法通过为LLMs增加一个视觉空间素描板来可视化其推理步骤并指导后续步骤。VoT采用零示范提示，而不是依赖于少量示范或使用CLIP进行文本到图像的可视化。这个选择源自LLMs从基于文本的视觉艺术中获得各种心智图像的能力。
为了评估VoT在空间推理中的有效性，研究人员选择了三个需要LLMs空间意识的任务，包括自然语言导航、视觉导航和视觉铺设。这些任务需要理解空间、方向和几何形状推理。为了模拟人类般的多感官感知，研究人员设计了使用特殊字符作为LLMs视觉导航和视觉铺设任务中丰富输入格式的2D网格世界。在这三个任务中比较了不同的模型（GPT-4、GPT-4V）和提示技术。研究结果显示，VoT提示始终促使LLMs可视化其推理步骤并指导后续步骤。因此，这种方法在相应任务上取得了显著的性能提升。
图2：不同设置下的导航地图示例，房子的表情符号表示起点，办公室的表情符号表示目的地。
空间推理
空间推理指的是理解和推理物体之间的空间关系、它们的移动和互动的能力。这种技能对于广泛的现实世界应用非常重要，如导航、机器人技术和自动驾驶。这些领域需要基于视觉感知和对空间维度的具体理解进行行动规划。尽管已经开发了几项任务和数据集来探究嵌入在文本中的空间语义，研究工作通常集中在空间术语如何在语言上结构化上。最近，通过将空间术语转换为逻辑形式并采用逻辑编程，在这些基准测试中取得了显著的成就和令人印象深刻的结果。这意味着在这些任务中取得优异成绩并不一定意味着大型语言模型(LLMs)真正理解了空间信息，也不提供它们空间意识的准确衡量标准。空间意识涉及理解空间关系、方向、距离和几何形状，这些都对于在物理世界中进行行动规划至关重要。为了评估LLMs的空间意识和空间推理能力，研究人员选择了一些测试导航和几何推理技能的任务，包括自然语言导航、视觉导航和视觉铺设。
自然语言导航
自然语言导航涉及通过随机漫步浏览底层空间结构，旨在识别先前访问过的位置。这个概念受到先前关于人类认知的研究的启发，其采用了类似于沿着图结构进行随机漫步的方法。这个过程需要理解循环闭合，这对于空间导航至关重要。
视觉导航
视觉导航任务向LLMs展示了一个合成的二维网格世界，挑战其利用视觉线索进行导航。模型必须生成导航指令，以四个方向（左、右、上、下）移动，从起点到达目的地，同时避开障碍物。这涉及到两个子任务：路线规划和下一步预测，需要进行多跳空间推理，其中前者更为复杂。
视觉铺设
视觉铺设是一个经典的空间推理挑战。将这个概念扩展到测试LLMs在有限区域内理解、组织和推理形状的能力，从而增强了空间推理技能的评估。任务涉及一个带有未填充单元格和各种多米诺块的矩形，比如由四个对齐的方块组成的I-多米诺块。模型必须选择适当的多米诺块变体，例如选择I-多米诺块的方向，以解决问答谜题。
图3：带有掩码多米诺块的视觉铺设示例。该图未显示多米诺块的旋转和镜像变体。
思维可视化提示
考虑到人类在导航等任务中处理空间信息的方式，常常会创建心智图像，如地图，以增强空间意识或模拟移动以指导决策。研究目标是唤起LLMs的空间意识，并通过可视化它们的中间推理步骤来基于实际情况进行推理。
研究人员引入了“思维可视化”（VoT）提示： "在每个推理步骤之后可视化状态"。这种新的空间推理范式旨在以交错的方式生成推理迹象和可视化结果。
图4：三个任务中VoT提示的示例，LLM以交错方式生成推理迹象和可视化来跟踪随时间变化的状态。
论文：https://arxiv.org/pdf/2404.03622.pdf
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。