AI好奇心，不只害死猫！MIT强化学习新算法，智能体这回「难易通吃」
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
人人都遇见过一个古老的难题。周五晚上，你正试图挑选一家餐厅吃饭，但没有预定。你应该去你最爱的那家人满为患的餐厅排队等位，还是尝试一家新餐厅，希望能发现一些更好吃的惊喜？后者确实有可能带来惊喜，但这种好奇心驱动的行为是有风险的：你去尝试的那家新餐厅的东西可能会更难吃。好奇心作为AI探索世界的驱动力，实例已经不胜枚举了——自主导航、机器人决策、优化检测结果等等。在某些情况下，机器使用「强化学习」来完成一个目标，在这一过程中，AI智能体从被奖励的好行为和被惩罚的坏行为中反复学习。就像人类在选择餐厅时面临的困境
人人都遇见过一个古老的难题。
周五晚上，你正试图挑选一家餐厅吃饭，但没有预定。你应该去你最爱的那家人满为患的餐厅排队等位，还是尝试一家新餐厅，希望能发现一些更好吃的惊喜？
后者确实有可能带来惊喜，但这种好奇心驱动的行为是有风险的：你去尝试的那家新餐厅的东西可能会更难吃。
好奇心作为AI探索世界的驱动力，实例已经不胜枚举了——自主导航、机器人决策、优化检测结果等等。
在某些情况下，机器使用「强化学习」来完成一个目标，在这一过程中，AI智能体从被奖励的好行为和被惩罚的坏行为中反复学习。
就像人类在选择餐厅时面临的困境一样，这些智能体也在努力平衡发现更好的行动（探索）的时间和采取过去导致高回报的行动（利用）的时间。
太强的好奇心会分散智能体的注意力，无法做出有利的决定，而好奇心太弱，则意味着智能体永远无法发现有利的决定。
为了追求使AI智能体具有「恰到好处」的好奇心，来自麻省理工学院计算机科学与AI实验室（CSAIL）的研究人员创造了一种算法，克服了AI过于「好奇」和被手头的任务分散注意力的问题。
他们研究出的算法会在需要时自动增加好奇心，如果智能体从环境中得到足够的监督，已经知道该怎么做，则降低好奇心。
论文链接：https://williamd4112.github.io/pubs/neurips22_eipo.pdf
经过60多个视频游戏的测试，该算法能够在不同难度的探索任务中取得成功，而以前的算法只能单独解决简单或困难难度。这意味着AI智能体可以使用更少的数据来学习决策规则，达到激励最大化。
「如果你很好地掌握了探索-开发之间权衡，就能更快地学习正确的决策规则，而任何不足之处都需要大量的数据，这可能意味着产生的结果是非最优的医疗方案，网站的利润下降，以及机器人没有学会做正确的事情。」
该研究带头人之一、麻省理工学院教授兼Improbable AI实验室主任Pulkit Agrawal说。
好奇心，不只害死猫！
我们似乎很难从心理学角度解释好奇心的心理基础，对于这种寻求挑战的行为的潜在神经学原理，我们一直没有深入理解。
有了强化学习，这个过程在情感上被「修剪」了，将这个问题剥离至最基本的层面，但在技术实现上却相当复杂。
从本质上讲，智能体只应该在没有足够的监督来尝试不同的事情时才会有好奇心，如果有监督，它必须调整好奇心，降低好奇心。
在测试游戏任务中，很大一部分是小智能体在环境中跑来跑去寻找奖励，并执行一长串的行动来实现一些目标，这似乎是研究人员算法的逻辑测试平台。
在《马里奥赛车》和《蒙特祖玛的复仇》等游戏实验中，研究人员将上述游戏分为两个不同类别：
一种监督稀疏的环境，智能体获得的指导较少，也就是「困难」的探索游戏；另一种是监督更密集的环境，即「简单」的探索游戏。
假设在《马里奥赛车》中，只删除所有的奖励，你不知道什么时候敌人杀了你。当你收集一个硬币或跳过管道时，不会得到任何奖励。智能体只有在最后才被告知其表现如何。这就属于稀疏监督环境，也就是困难任务。在这种任务中，激励好奇心的算法表现非常好。
而如果智能体处于密集监督环境，也就是说，跳过管道、收集硬币和杀死敌人都有奖励，那么，表现最好的就是完全没有好奇心的算法，因为经常得到奖励，只要照着走流程就行了，不需要额外探索就能收获颇丰。
这里如果使用激励好奇心的算法，学习速度会很慢。
因为好奇心强的智能体，可能会试图以不同的方式快速奔跑，到处乱逛，走遍游戏的每一个角落。这些事情都很有趣，但并不能帮助智能体在游戏中取得成功，获得奖励。
如前文所言，在强化学习中，一般用激励好奇心和抑制好奇心的算法，来分别对应监督稀疏（困难）和监督密集（简单）任务，不能混用。
这一次，MIT团队的新算法始终表现良好，无论是在什么环境中。
未来的工作可能涉及回到多年来令心理学家高兴和困扰的探索：好奇心的适当衡量标准--没有人真正知道从数学上定义好奇心的正确方法。
MIT CSAIL博士生Zhang Weihong说：
通过改进探索算法，为你感兴趣的问题调整算法。我们需要好奇心来解决极具挑战性的问题，但在某些问题上，好奇心会降低性能。我们的算法消除了调整「探索和利用」的平衡负担问题。
以前要花一个星期来解决的问题，新算法可以在几个小时内就得到满意的结果。
他与麻省理工学院CSAIL工程硕士、22岁的Eric Chen是关于这项工作的新论文的共同作者。
卡内基梅隆大学的教师Deepak Pathak说：
「像好奇心这样的内在奖励机制，是引导智能体发现有用的多样化行为的基础，但这不应该以在给定的任务中做得好为代价。这是AI中的一个重要问题，这篇论文提供了一种平衡这种权衡的方法。看看这种方法如何从游戏扩展到现实世界的机器人智能体上，将是很有趣的一件事。」
加州大学伯克利分校心理学特聘教授和哲学副教授Alison Gopnik指出，当前AI和认知科学的最大挑战之一，就是如何平衡「探索和利用」，前者是对信息的搜索，后者是对奖励的搜索。
「这篇论文使用了令人印象深刻的新技术来自动完成这一工作，设计了一个能够系统地平衡对世界的好奇心和对奖励的渴望的智能体，让AI智能体朝着像真正的儿童一样聪明的方向，迈出了重要一步。」他说。
参考资料：
https://techxplore.com/news/2022-11-bad-ai-curious.html
https://www.csail.mit.edu/news/ensuring-ai-works-right-dose-curiosity
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。