图灵奖得主Hinton：我已经老了，如何控制比人类更聪明的AI交给你们了
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
还记得大牛们就“AI是否可能灭绝人类”，分成了两大阵营吗？由于并不理解为啥“AI会造成风险”，吴恩达最近开启了一个对话系列，去找两名图灵奖得主聊聊：AI究竟存在哪些风险？有意思的是，在相继和YoshuaBengio以及GeoffreyHinton进行深度对话后，他和他们“达成了不少共识”！他们一致认为，双方应该共同讨论AI具体会产生什么风险，以及它究竟“理解了什么”。Hinton还特意cue了“反方代表”图灵奖得主YannLeCun：学术界在这个问题上分歧太大了，包括我们非常尊重的学者如Yann，就认为大
还记得大牛们就“AI是否可能灭绝人类”，分成了两大阵营吗？
由于并不理解为啥“AI会造成风险”，吴恩达最近开启了一个对话系列，去找两名图灵奖得主聊聊：
AI究竟存在哪些风险？
有意思的是，在相继和Yoshua Bengio以及Geoffrey Hinton进行深度对话后，他和他们“达成了不少共识”！
他们一致认为，双方应该共同讨论AI具体会产生什么风险，以及它究竟“理解了什么”。Hinton还特意cue了“反方代表”图灵奖得主Yann LeCun：
学术界在这个问题上分歧太大了，包括我们非常尊重的学者如Yann，就认为大模型并不理解它自己在说什么。
马斯克对这次谈话也很感兴趣：
除此之外，Hinton最近还在智源大会上再一次“布道”AI风险，表示比人更聪明的超级智能很快就会出现：
我们不习惯思考比我们聪明得多的东西，以及如何与它们互动。
我现在看不出如何防止超级智能“失控”，而我已经老了。我希望，更多年轻的研究人员能掌握控制超级智能的方法。
一起来看看这些对话的核心观点，以及不同AI大牛针对这件事的看法。
吴恩达对话图灵奖得主：AI安全应达成共识
首先是与Bengio的对话。吴恩达和他达成了一个关键共识，即：
科学家们应该试着找出“AI风险存在的具体场景”。
也就是说，AI究竟会在哪些场景下，给人类带来重大危害、甚至导致人类灭绝，这是双方需要达成的共识。
Bengio认为，AI前景充满着“迷雾和不确定性”，因此找出一些AI具体带来危害的场景是有必要的。
然后是与Hinton的对话，双方达成了两个关键共识。
一方面，所有科学家必须针对“AI风险”议题好好聊聊，以便于制定良好的政策；
另一方面，AI确实在理解世界。科学家们需要列出其中的关键技术问题，这有助于在AI安全议题上达成共识。
在这个过程中，Hinton提到了需要达成共识的关键点，即“GPT-4和Bard这类对话大模型是否真的理解它们自己在说什么”：
有些人认为它们理解，有些人认为它们只是随机鹦鹉。
我想我们都相信它们理解（自己在说什么），但一些我们非常尊重的学者如Yann，则认为它们并不理解。
当然，被“喊话”的LeCun也及时赶来，很认真地发表了自己的观点：
我们都同意“大家需要就一些问题达成共识”这件事。我也同意Hinton的观点，即LLM有一定的理解能力，说它们“只是统计数据”是误导性的。
1、但它们对世界的理解非常肤浅，很大程度上是因为它们仅仅用纯文本训练。从视觉中学习世界如何运作的AI系统，将对现实有更深入的理解，相比之下自回归LLM的推理和规划能力非常有限。
2、如果没有下述条件，我不太相信会出现接近人类（甚至是猫）水平的AI：
（1）从视频等感官输入中学习的世界模型
（2）一个可以推理和规划（而不仅仅是自回归）的架构
3、如果我们有了懂得规划的架构，它们将是目标驱动的，即能基于优化推理时间（而不仅仅是训练时间）目标来规划工作。这些目标可以是让AI系统“听话”且安全的护栏，甚至最终打造出比人类更好的世界模型。
然后，问题就变成了设计（或训练）保证安全和效率的良好目标函数。
4、这是一个困难的工程问题，但没有一些人所说的那么难。
虽然这一段回应仍旧只字未提“AI风险”，不过LeCun很实在地给出了提升AI安全性的建议（打造AI“护栏”），并设想了比人类更厉害的AI“长啥样”（多感官输入+可推理规划）。
某种程度上来说，也算是双方在AI存在安全问题这个观点上达成了一些共识。
Hinton：超级智能比想象中更近
当然，不止是和吴恩达的对话。
最近离职谷歌的Hinton，在不少场合都谈到了AI风险这一话题，其中也包括最近参加的智源大会。
在大会上，他以《通往智能的两条路线》为主题，讨论了“知识蒸馏”和“权重共享”两种智能路线，以及如何让AI变得更智能，以及自己对于超级智能出现的看法。
简单来说，Hinton不仅认为（比人更智能的）超级智能会出现，而且出现的时间比人们想象中更快。
不仅如此，他认为这些超级智能会失控，但目前他还想不到什么好的方法阻止它们：
超级智能可以通过操纵人来轻易获得更多权力。我们不习惯思考比我们聪明得多的东西，以及如何与它们互动。但它会变得善于欺骗人，因为它能通过某些小说作品中学习欺骗他人的案例。
一旦它变得善于欺骗人，就能掌握让人们做任何事的方法……我觉得这很可怕，但我看不出如何防止这种情况发生，因为我老了。
我希望，像你们这样的年轻有才华的研究人员，会搞懂我们如何拥有这些超级智能，并让我们生活得更好。
放映出“THE END”幻灯片时，Hinton意味深长地强调了一下：
这是我的最后一张PPT，也是这场演讲的结束。
参考链接：
[1]https://twitter.com/AndrewYNg/status/1667920020587020290
[2]https://twitter.com/AndrewYNg/status/1666582174257254402
[3]https://2023.baai.ac.cn/
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。