强化学习是否言过其实?
译者|李睿审校|孙淑娟可以想象一下，你正准备和朋友一起下国际象棋，但他并不是人类，而是一个不了解游戏规则的计算机程序。但这个应用程序却明白自己致力实现一个目标，就是在游戏中获胜。因为计算机程序不知道规则，所以开始下棋的招数是随机的。其中有些招数完全没有意义，而对你来说获胜很容易。在这里假设你非常喜欢和这个朋友下国际象棋，以至于沉迷于这个游戏。但计算机程序最终会获胜，因为它会逐渐学会击败你的方法和招数。虽然假设的这个场景看起来有些牵强，但它应该能让你对强化学习(机器学习的一个领域)的大致工作
译者 | 李睿
审校 | 孙淑娟
可以想象一下，你正准备和朋友一起下国际象棋，但他并不是人类，而是一个不了解游戏规则的计算机程序。但这个应用程序却明白自己致力实现一个目标，就是在游戏中获胜。
因为计算机程序不知道规则，所以开始下棋的招数是随机的。其中有些招数完全没有意义，而对你来说获胜很容易。在这里假设你非常喜欢和这个朋友下国际象棋，以至于沉迷于这个游戏。
但计算机程序最终会获胜，因为它会逐渐学会击败你的方法和招数。虽然假设的这个场景看起来有些牵强，但它应该能让你对强化学习(机器学习的一个领域)的大致工作原理有一个基本的了解。
强化学习到底有多智能?
人类智力包含许多特征，包括获得知识、扩展智力能力的愿望和直觉思维。当国际象棋冠军加里·卡斯帕罗夫在输给IBM公司的一台名为“深蓝”（Deep Blue）的电脑时，人类的智能受到了很大的质疑。除了吸引公众的注意力之外，描绘机器人在未来统治人类的世界末日场景也占据了主流意识。
然而，“深蓝”并不是一个普通的对手。与这个计算程序下棋就像与一个千岁的老人进行比赛，而他一生一直在不停地下国际象棋。但“深蓝”擅长玩一种特定的游戏，而不是其他智力活动，如演奏乐器、撰写著作、进行科学实验、抚养子女或修理汽车。
这绝不是想贬低“深蓝”所取得的成就。与其相反，计算机在智力能力上超越人类的想法需要仔细的检验，首先要分析强化学习的工作机制。
强化学习是如何工作的
如上所述，强化学习是机器学习的一个子集，它涉及智能代理在环境中如何行动以最大化累积奖励的概念。
简单地说，强化学习机器人接受奖惩机制的训练，它们做出正确的动作会得到奖励，做出错误的动作会受到惩罚。强化学习机器人不会“思考”如何采取更好的行动，它们只是让所有的行动成为可能，以最大限度地提高成功的机会。
强化学习的缺点
强化学习的主要缺点是它需要采用大量的资源来实现它的目标。强化学习在围棋游戏中的成功就说明了这一点。这是一款流行的双人游戏，其目标是使用棋子在棋盘上占据最大区域，同时避免丢子。
AlphaGo Master是一款在围棋比赛中击败人类棋手的计算机程序，它耗费大量的资金和人力，其中包括许多工程师，非常丰富的游戏经验以及256个GPU和128000个CPU。
在学习如何在比赛获胜的过程中，需要投入大量的资源和精力。这就引出了一个问题：设计不能凭直觉思考的人工智能是否合理?人工智能研究不是应该尝试模仿人类智能吗?
支持强化学习的一个论点是，人们不应该期望人工智能系统像人类一样行动，它用于解决复杂问题需要进一步发展。另一方面，反对强化学习的观点是，人工智能研究应该专注于让机器做目前只有人类和动物才有能力做的事情。从这个角度来看，人工智能与人类智能的比较是恰当的。
量子强化学习
强化学习是一个新兴的领域，据说可以解决上述的一些问题。量子强化学习(QRL)是一种加速计算的方法。
首先，量子强化学习(QRL)应该通过优化探索(发现策略)和开发(选择最佳策略)阶段来加速学习。目前的一些应用和提出的量子计算改进了数据库搜索，将大数分解为质数，等等。
尽管量子强化学习(QRL)还没有以突破性的方式出现，但它有望解决常规强化学习的一些重大挑战。
强化学习的业务案例
正如以上提到的，强化学习研究和开发至关重要。以下是来自麦肯锡公司的一份调查报告中的有关强化学习的一些实际应用示例，强化学习可以：
- 优化半导体和芯片设计，优化制造工艺，提高半导体行业的产量。
- 提高工厂产量，优化物流以减少浪费和成本，提高农业利润。
- 缩短航空航天和国防工业新系统的上市时间。
- 优化设计流程，提高汽车行业的生产效率。
- 通过实时交易和定价策略增加收入，改善客户体验，并在金融服务中为客户提供先进的个性化服务。
- 优化矿山设计，管理发电，应用整体物流调度，优化作业，降低成本，提高产量。
- 通过实时监测和精确钻井提高产量，优化油轮行进路线，实现预测性维护，防止油气行业的设备故障。
- 促进药物发现，优化研究流程，自动化生产和优化制药行业的生物方法。
- 优化供应链，实施先进的库存建模，为零售部门的客户提供先进的个性化服务。
- 优化和管理网络，在电信行业应用客户个性化。
- 优化运输物流的路线、网络规划、仓库操作。
- 使用下一代代理从网站提取数据。
强化学习的反思
强化学习的能力可能是有限的，但它不会被高估。此外，随着强化学习研究和开发项目的增加，几乎每个经济部门的潜在用例也在增加。
大规模采用强化学习依赖于几个因素，其中包括优化算法设计、配置学习环境和计算能力的可用性。
原文标题：Is reinforcement learning overhyped?，作者：Aleksandras Šulženko
Adobe Acrobat Pro 是面向办公、法务、财务、教育及出版用户的专业PDF处理软件，可在Mac上创建、编辑、转换、合并和保护文档，并提供OCR文字识别、表单、批注、内容比较、敏感信息遮盖及电子签名功能。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Affinity Designer 的矢量设计能力现已整合进 Affinity by Canva，可在 Mac 上进行标志、图标、插画、界面原型及印刷品设计。个人用户使用免费 Canva 账户即可使用完整的矢量、像素和版面工具。
Archicad是Graphisoft推出的建筑信息模型设计软件，可在Mac上完成概念设计、参数化建模、图纸编制、工程量统计、渲染展示及团队协同。模型与平立剖面、明细表和布局保持关联，适合建筑师、室内设计师、BIM团队及相关专业学生使用。
AutoCAD LT是Autodesk推出的专业二维CAD设计与文档编制软件，Mac版本提供原生界面、多点触控及分屏查看体验。用户可精确创建和编辑DWG图形，完成图层管理、尺寸标注、表格、PDF参考、外部参照及打印输出。
AutoCAD for Mac 是 Autodesk 面向 macOS 提供的专业计算机辅助设计软件，支持精确的二维绘图、标注、布局输出以及实体、曲面和网格建模。软件采用适配 Mac 操作习惯的界面，可处理 DWG 图纸。
Autodesk Fusion 是面向产品设计与制造的一体化云连接平台，在 Mac 上提供参数化建模、自由曲面、装配、工程图、仿真、PCB 设计和 CAM 加工等工具。它适合机械工程师、工业设计师、创客及制造团队使用。
Autodesk Maya是一套面向影视动画、游戏开发和视觉特效制作的专业三维创作软件，集多边形与曲面建模、角色绑定、关键帧动画、动力学模拟、程序化特效及Arnold渲染于一体，并提供脚本、插件和开放式制作管线支持。
Blender是一款免费开源的综合三维创作软件，可在Mac上完成建模、数字雕刻、材质制作、角色绑定、动画、物理模拟、渲染、合成及视频剪辑。软件提供Cycles与Eevee渲染工具，并支持几何节点、蜡笔绘制和Python扩展。
AutoCAD 是 Autodesk 推出的专业计算机辅助设计软件，Windows 版支持精确二维绘图、三维实体与曲面建模、图纸标注、布局发布和任务自动化，并包含多套行业专业化工具组合，适用于建筑、机械、电气、工程建设及制造设计人员。
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Cinema 4D是Maxon推出的专业三维创作软件，将建模、动画、MoGraph动态图形、粒子与动力学模拟、材质灯光及Redshift渲染整合在统一工作环境中，适用于广告包装、影视特效、产品和建筑可视化、游戏素材等制作场景。
Blender 是免费开源的三维创作套件，在 Windows 上提供建模、雕刻、材质、动画、物理模拟、合成、跟踪、视频剪辑及 Cycles、EEVEE 渲染工具。它适合个人创作者、学生和小型工作室，
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，
SketchUp Pro 是面向建筑、室内、景观、施工和产品设计等专业场景的三维建模工具，提供桌面建模、LayOut 二维文档、模型资源库、扩展程序及云端协作能力。其操作逻辑直观，适合从概念推敲、空间规划到图纸表达和方案汇报的完整工作流程。