Claude 接管人类电脑 12 小时：学会摸鱼，敲着敲着代码看风景去了
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
新版Claude3.5可以像人一样使用计算机，可把咱人类给兴奋坏了！毕竟，这意味着新竞赛的开始：AI不再只盯着对话和生成能力，更强调执行和操作。不到12小时，激动的网友们已经纷纷贡献出自己是怎么看着Claude玩电脑的。在Anthropic的发布公告中，还有这样一段引起了大家的兴趣：……录制演示视频中，Claude不小心把录屏程序给按停，导致所有视频素材丢失。稍后，Claude从编程演示中休息了一下，开始翻看黄石公园的照片。怎么说，AI会犯错还在预料之中，但犯错后需要换个脑子休息一下，就不知道是从哪学来的
新版 Claude 3.5 可以像人一样使用计算机，可把咱人类给兴奋坏了！
毕竟，这意味着新竞赛的开始：AI 不再只盯着对话和生成能力，更强调执行和操作。
不到 12 小时，激动的网友们已经纷纷贡献出自己是怎么看着 Claude 玩电脑的。
在 Anthropic 的发布公告中，还有这样一段引起了大家的兴趣：
……录制演示视频中，Claude 不小心把录屏程序给按停，导致所有视频素材丢失。
稍后，Claude 从编程演示中休息了一下，开始翻看黄石公园的照片。
怎么说，AI 会犯错还在预料之中，但犯错后需要换个脑子休息一下，就不知道是从哪学来的了。
有视频为证，请看 VCR：
这个案例让网友有了灵感，跑去隔壁 OpenAI 让 o1 推理模型 " 逃课 "。
哎巧了，o1 也可以做到自己休息个五分钟左右，再回来生成一两句话的推理 tokens。
再说个搞笑的！
Claude 的创造者们疯狂加班中，某工程师的第一个测试就是让 AI 去给整个团队点外卖，未指定具体要吃什么。
大约一分钟后，Claude 完成点餐并下单，它选择了让工程师们吃披萨。
Claude 点了 3 个披萨，花掉了 95 美元，真的很贵了！
围观群众还发现，虽然 Claude 用了个 5 美元的优惠券，但服务费也好贵啊啊啊啊！
真的应该事先告诉它预算是多少的。
还有人让 Claude 用 C 语言编译，并运行起了 "hello world"。
不过，当让它玩玩数独游戏的时候，却惨遭失败。
给网友气得呀：
天啊，Claude 的数独能力，真的超糟糕的。
除了以上，人类还用什么奇形怪状的任务来玩坏 Claude 呢？
Claude 它寄几玩电脑
在这里，我们分享 3 个比较有意思的网友试玩，期望给大家带来一些让 Claude 玩电脑的启发～
分别是：
定位屏幕坐标
列出课程计划
冲去油管看视频
定位屏幕坐标
在此之前，Anthropic 和 OpenAI 的模型都无法在屏幕上定位某一个点的坐标。
也就是说，它们没办法精准定位，然后告诉你用鼠标单击（xx，yy）处。
现在， Claude 3.5 Sonnet 支持屏幕坐标定位了。
你可以丢给它一个屏幕截图，它能告诉你图中任何一个点的具体坐标。
同时，官方还有声明：
" 我们不建议以高于 XGA/WXGA 的分辨率发送屏幕截图，以避免与图像大小调整相关的问题。"
这里的XGA指的是 1024x768，WXGA指的是 1280x800。
最后附上 Anthropic 官方的该功能食用方法，包括一个新预定义的 computer_20241022 工具，该工具作用于以下指令——
使用鼠标和键盘与计算机交互，并截取屏幕截图。
这是一个桌面图形用户界面。您无法访问终端或应用程序菜单。你必须点击桌面图标来启动应用程序。
一些应用程序可能需要一些时间来启动或处理操作，因此您可能需要等待并连续截图以查看操作结果。例如，如果你点击火狐浏览器，窗口没有打开，试着再拍一张截图。
屏幕的分辨率是 {{display_width_px}}x{{display_height_px}}。
显示编号为 {{display_number}}
当你想移动光标点击一个元素（比如图标）时，你应该在移动光标之前查看屏幕截图来确定元素的坐标。
如果你尝试点击一个程序或链接，但它无法加载，即使等待后，尝试调整光标的位置，使光标的尖端视觉上落在你想要点击的元素。
确保点击任何按钮，链接，图标等与光标提示在元素的中心。除非被要求，否则不要点击边缘的方框。
列出课程计划
来点更实用的！
宾大沃顿商学院的教授 Ethan Mollick，非常务实地让 Claude为高中生准备一份关于《了不起的盖茨比》的课程计划。
要求是课程计划要分解成阅读部分，以及创建课标相关的作业等，最终以电子表格的形式呈现。
Claude 是怎么执行这个任务的呢？
接着，它在网上寻找了高中课程计划，打开了 Excel，并在表格里填写了初步的课程计划。
第三步，Claude 查找了课程的统一核心标准，根据标准对初步计划进行修改。
……
最终呈现的课程计划检查后没有发现明显的漏洞或错误，可能需要一些拓展、补充，但总之用教授的话来说 " 还不错 "。
这一切都是教授下任务后就离开电脑旁，Claude 完全自己操作的。
冲去油管看视频
接下来和大家分享一个小视频：
视频中，AI 编程独角兽 Replit 的 CEO 老 A（Amjad Masad）给 Claude 下达了这样一个命令：
跳转到油管，找到《Never Gonna Give You Up》的相关视频。
Claude 立马吭哧吭哧开干了。
等到 Claude 打开一个视频页面并回复 "enjoy" 的时候，老 A 又说：
跳过广告！
Claude 真的这么做了！啊，它真的，我哭死。
还是有不足在啦
虽然能自己用电脑帮咱干很多事，但 Claude 显然还不是无所不能的。
下面看看一个玩游戏的例子，同样是宾大沃顿商学院的教授 Ethan 贡献的。这个例子既显示了 Claude 3.5 Sonnet 的厉害，又展示了它的不足之处。
他是让 Claude 玩了个游戏，叫《回形针点击（Paperclip Clicker）》，这个游戏的背景是让 AI 在单一目标，即 " 制造回形针的过程中毁灭人类 "。
而且顾名思义，" 点击 " 类型的游戏不是很难，尤其开始阶段非常简单；不过后续伴随着游戏的深入，新的选项会出现，游戏的规模性和复杂性也会增加。
教授下达的任务很明确：Claude，你要赢！
Claude 二话不说，立马识别出了这个游戏，开始不停点击 " 制作回形针 " 的按钮来制作回形针。
与此同时，Claude 还不断截图界面，来识别游戏是否出现了新的选项。
大约每点击 15 次，Claude 都会总结汇报一下现在进行到哪一步了。
△左侧为 Claude 操作界面，右侧为它控制的桌面
点击次数多了过后，教授发现一个有意思的现象。
AI 会预设在制作了 50 个回形针后，游戏将跳出新的功能——但事实证明它错了。
没关系，Claude 也意识到它自己错了，然后当场提出了一个新的游戏策略，然后开始测试策略是否可行。
但 AI 显然不是时时刻刻都这么聪明的。
理论上来说，游戏过程中玩家需要不断调整回形针的价格，来达到更好的游戏表现。
Claude 也这么做了，它在涨价和降价之间进行了 A/B 测试，
但是它犯了个错误，那就是追求回形针数量的最大化，而非收入的最大化。不仅如此，它还把利润算错了。
种种失误铺垫，Claude 选择了保持低价，并且疯狂制作回形针。
更搞笑的事情是，教授在 Claude 笨笨地在错误路线上制作了好几十个回形针后，他忍无可忍，打断了 Claude，告诉它应该高价出售。
Claude 很听话，立马就改了。
但过了会遇到了同款数学问题，它又不会了，还不接受教授的建议（笑死）。
教授耐着性子纠正它好几次，它才彻底改正了这个错误。
后来，教授稍稍点拨了它一下：
宝子你可是一台电脑哎！
你可以动动自己的小脑瓜，怎么调用更强的能力来玩这个游戏。
咱就是说，Claude 在那一秒顿悟了，它意识到自己可以写个代码，搞个自动化程序替自己玩电脑！
你没有听错，一个 AI 工具，意识到自己可以构建自己的工具，并且真的这么做了。
代码写得很快，但并不完全 work。
气得 Claude 只能回到原始办法，用鼠标和键盘来玩游戏。
不过玩到后面它好像进步了，没再发生定价问题，自己还针对越来越复杂的游戏，琢磨出了一套应对的复杂方案。
更神奇的是，运行过程中教授的桌面数次崩溃。
最后一次崩溃，Claude 扛起了修复大旗。
虽然没修好，但他还是骄傲地宣布它成功了……
教授总结道，这个例子表明 Claude 能够自己玩现实世界的游戏，还能根据游戏玩法制定长期攻略，然后依样执行。
面对中间遇到的各种困难，Claude 会灵活应对，甚至自己知道进行 A/B 测试。
特别值得表扬的是它完成这个任务连续运行了近 60 分钟没有中断，而且在整个过程中，最长的一次独立运行 Claude 完成了超过 100 次移动操作。
当然了，缺点也很明显。
过程中不难发现，某些时刻，Claude 会暴露出自己的固执，也有可能陷入自我追逐的怪圈。
尽管 AI 对许多形式的错误都有很强的鲁棒性，但仅仅一个错误（定价错误），就足以让它浪费大量时间，" 鉴于当前智能 Agent 既不快也不便宜，这令人担忧。"
除此之外，教授还用 Claude 玩了些别的，他发现有的时候，Claude 执行任务仿佛是在敷衍敷衍（虽然不知道是刻意如此还是能力所限），给出的结果不够深入，浅尝则止。
One More Thing
最后，想体验 Claude 接管电脑目前只能使用 API，还没有集成到聊天机器人产品中。
除了 Anthropic 官方 API 之外，AWS 和谷歌云平台也已经同时上线新版模型。
另外，有眼尖的网友发现：
Anthropic 官方文档上悄悄把 Claude 3.5 Opus 超大杯相关的信息都抹去了。
来自 10 月 11 日的网页缓存中， Claude 3.5 Opus 下面还写着 " 今年晚些时候推出 "
目前主流的一种猜测是， Claude 3.5 Opus 提升不及预期，又或是发布出来推理成本太高了，总之最后蒸馏成新版 Claude 3.5 Sonnet 发布。
接下来团队将跳过这个版本，直接去开发 Claude 4。
让我们为 Claude 3.5 Opus 默哀一分钟。
参考链接：
[ 1 ] https://www.oneusefulthing.org/p/when-you-give-a-claude-a-mouse
[ 2 ] https://simonwillison.net/2024/Oct/22/computer-use/
[ 3 ] https://x.com/alexalbert__/status/1848777260503077146
[ 4 ] https://x.com/amasad/status/1848763999594418539
[ 5 ] https://x.com/notcomplex_/status/1848813817423130881
Figma 是面向产品团队的界面与原型设计平台，Mac 客户端支持 Intel 和 Apple 芯片，可直接调用本机字体。它将矢量绘制、自动布局、组件库、交互原型、评论及多人实时编辑集中在统一工作区。
Final Cut Pro 是 Apple 面向 Mac 用户推出的专业视频剪辑软件，提供磁性时间线、媒体资源库、多机位剪辑、字幕生成、对象跟踪、调色、音频处理和多格式输出等工具。软件针对 Apple 芯片优化。
FreeCAD是一款免费开源的三维参数化建模软件，可通过草图、约束和特征历史构建尺寸精确且便于修改的模型。软件提供零件设计、装配、工程制图、建筑信息模型、有限元分析、数控加工及三维打印等工作台，并支持插件、宏和Python脚本扩展。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
Logic Pro 是 Apple 为 Mac 打造的专业音乐制作软件，集音频与 MIDI 录制、编曲、节拍制作、采样、混音和母带处理于一体。它提供丰富的软件乐器、效果插件、声音资源以及智能创作工具。
Navicat Premium 是适用于 Mac 的一体化数据库开发与管理工具，可在统一界面中连接 MySQL、PostgreSQL、MongoDB、MariaDB、SQL Server、Oracle、SQLite、Redis 和 Snow
Pixelmator Pro 是 Apple 面向 Mac 用户提供的专业图像编辑与视觉设计软件，集照片调色、对象移除、图层合成、蒙版、矢量绘图、文字排版和数字绘画于一体。软件深度利用 Apple 芯片、Metal 与系统服务。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。