思想克隆！前OpenAI研究员让AI模仿人类思维，现实版「机械姬」降临
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
当AI有了自主意识会如何？「机械姬」中，艾娃利用人类的同情心，以欺骗的方式诱导人类获得自由，最终杀了自己的「造物主」Nathan。近来，在众多网友的力荐下，SamAltman终于看了这部电影。并表示，「很好的电影，但我不明白为什么每个人都让我看它。」许多人或许想警示，这就是让人工智能有了意识，通过图灵测试的结果。但我们离「机械姬」上映的那一幕还很遥远，GPT-5可能在秘密研发中，让AI有智慧仍是科学家集洪荒之力最想做的事。这不，来自不列颠哥伦比亚大学的2位研究人员发现，智能体能够像人类一样思考有很多的优势
当AI有了自主意识会如何？
「机械姬」中，艾娃利用人类的同情心，以欺骗的方式诱导人类获得自由，最终杀了自己的「造物主」Nathan。
近来，在众多网友的力荐下，Sam Altman终于看了这部电影。
并表示，「很好的电影，但我不明白为什么每个人都让我看它。」
许多人或许想警示，这就是让人工智能有了意识，通过图灵测试的结果。
但我们离「机械姬」上映的那一幕还很遥远，GPT-5可能在秘密研发中，让AI有智慧仍是科学家集洪荒之力最想做的事。
这不，来自不列颠哥伦比亚大学的2位研究人员发现，智能体能够像人类一样思考有很多的优势。
最新论文中，他们研究了智能体的「思想克隆」（TC）。
这里，人工智能通过模仿人类，学会像人类一样「思考」和「行动」。
当AI有了思想
要知道，语言是区分人类和其他生物的关键。
因此，研究人员设想，如果智能体能够理解语言，便会有很多的好处。
比如，帮助人类概括、推断、适应新的情况、将新的方式结合已有的知识，探索、计划、并在必要时重新计划。
尽管有这些益处，但AI智能体却很少思考，至少不是用人类语言去思考。
虽然神经网络可以被认为是思考的内部向量激活，但许多人假设，以离散的、符号的语言进行思考具有特定的好处。
这意味着能够用语言思考的智能体，可能比不用语言的智能体学习得更快，表现、概括得更好。
基于所有这些原因，增强AI智能体用语言思考的能力可以产生许多显著的优势。
Jeff Clune和Shengran Hu认为实现这一目标的最有效的方法是「让AI模仿人类思考」。
他们发现，人类不会孤立地获得思维技能，相反，他们一部分技能的获得是通过他人示范和教师提供的反馈来学习的。
因此，一个有效的方法是，让智能体从人类在行动时把想法说出的演示中进行学习。
这一方法不同于现有的用预训练LLMs进行规划的工作，因为这些LLMs没有受过人类在行动时说出想法的数据进行训练，即「思想数据」。
至于「思想数据」的来源，研究者选取了YouTube视频和文字录音，有大约数百万小时，包含了人们行动、计划、决定和重新规划背后的思想。
论文中，研究人员提出了一个新颖的模仿学习框架「思想克隆」。其中，智能体不仅学习人类的示范行为，如行为克隆，而且学习人类行动同时的思考方式。
在思想克隆训练框架中，智能体学习在每个时间步中产生思想，并随后根据这些思想调整行动。
整体框架如图所示，TC智能体是一个双层架构：上层和下层组件。
在每个时间步中，智能体接收一个观察、一个任务和一段思维历史作为输入。上层组件负责思想生成，下层组件产生以这些思想为条件执行操作。
然后，将生成的想法和行动与演示数据集中的基本事实进行比较，以计算损失。
虽然对于上层和下层组件的条件可能有不同的选择，但在这项工作中，对于思维数据集中长度t的特定轨迹，研究人员将其最小化：
对于更复杂或大规模的场景，上层组件可以使用预训练视觉语言模型（VLM）来实现，或者零样本、微调。
而下层组件可以从头开始训练，或者从目标域中现有的语言条件控制器中改编。
论文中，研究人员基于BabyAI 1.1模型体系结构的两个组件进行了研究。
该模型利用内存增强架构LSTM来解决部分可观测性的挑战。此外，它还采用FiLM进行模态融合，有效地结合了视觉和文本输入。
这里，作者特别强调，本文中的所有模型都是从头开始训练的，但在复杂领域中还是使用预训练模型更强。
如下图，是BabyAI环境示例，左图中包含了各种颜色的物品（球、钥匙、盒子、门）。
智能体可以拿起、放下、移动物体或者开门和关门，而锁住的门只能用颜色匹配的钥匙打开。
智能体可以看到它前面的7×7的网格单元，这些网格单元是被墙壁和关闭的门阻挡。
「思想克隆」智能体的任务是，到达紫色的盒子（高亮显示） ，并开始规划了路线。
但是当它打开蓝色的门时，准备完成任务，却发现一个紫色的球挡住了去路。于是，思想克隆智能体再重新规划。
由此可以看出，智能体的想法和行动表明，当遇到障碍时，先将其移除，并在继续之前的目标前，重新计划路线。
这一过程，就特别像艾娃如何一步一步策划，让人类最终相信并帮助自己，逃出囚禁已久的玻璃牢笼。
实验结果
研究结果表明，「思想克隆」优于行为克隆。
此外，在零样本和微调设置中，思想克隆在分布外的任务中比行为克隆优势更大。
有趣的是，研究人员还开发了「预犯罪干预」，允许用户在模型训练后仍能定义不安全行为。
当检测到危险的想法时，就能终止智能体。测试中，「预犯罪干预」的效果近乎完美，显示了它在人工智能安全方面的潜力。
「思想克隆」不仅使人工智能更聪明，而且更安全，更容易理解。
就是说，当AI犯罪前，一切还有得救。
在Jeff Clune看来，「思想克隆」有助于人工智能的安全。
因为我们可以观察到智能体的思想：（1）可以更容易地诊断出事情出错的原因，（2）通过纠正智能体的思想来引导它，（3）或者阻止它做所计划的不安全的事情。
作者介绍
Jeff Clune
目前，Jeff Clune是不列颠哥伦比亚大学计算机科学副教授。他主要研究深度学习，包括深度强化学习。
此前，他还是OpenAI研究团队负责人，Uber人工智能实验室的高级研究经理和创始成员。
此前，他和OpenAI团队发布了视频预训练模型——VPT，让AI在我的世界中从视频数据中学习造石镐。
Shengran Hu
目前是不列颠哥伦比亚大学的博士生，对深度学习，人工智能生成算法感兴趣。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。