强化学习之父、年近七旬的Richard Sutton宣布创业，向LLM范式宣战
强化学习之父RichardSutton宣布创立OakLab，旨在打造能从自身经验持续学习、实时进化的AI系统，挑战当前大语言模型范式。他认为LLM依赖人类数据而非经验，真正的智能需通过试错产生新发现。OaK架构基于选项与知识，但面临灾难性遗忘等技术瓶颈。
今天，AI圈发生了一件大事。被称为“强化学习之父”的Richard Sutton，在社交平台X上突然宣布，他与合作者Khurram Ja ved已经离开了传奇游戏&开发者John Carmack创办的AI公司Keen Technologies，共同创立了一家名为Oak Lab的新公司。这家注册在加拿大的初创企业，目标非常明确：打造一种完全不同于当前大语言模型（LLM）的AI系统——一个能够从自身经验中持续学习、实时进化的智能体。
在宣布消息的帖子里，Sutton对Carmack和Keen Technologies表达了敬意，但同时也明确表示，Oak Lab将走一条完全不同的路。他写道，当前的深度学习方法存在根本性的不足，需要的不是修补，而是全新理念的重构。
（来源：X）
现年68岁的Richard Sutton，履历堪称传奇。他是加拿大阿尔伯塔大学计算机科学教授，在斯坦福大学获得本科学位后，于马萨诸塞大学阿默斯特分校师从Andrew Barto完成博士学业。他是时序差分学习的提出者，与Barto合著的《强化学习导论》至今仍是该领域最具影响力的教材。2025年，两人共同获得ACM图灵奖，表彰他们在强化学习概念和算法基础方面的开创性贡献。此外，AlphaGo的缔造者Da vid Silver、强化学习领域重要学者Doina Precup等人，都是他的学生。
为什么不走LLM路线？
Oak Lab的创立动机，与Sutton在2019年发表的那篇著名文章——《苦涩的教训》（The Bitter Lesson）有着深度关联。
在这篇短文中，Sutton回顾了AI研究70年的历史，提出了一个核心观察：那些试图将人类领域知识内嵌到系统中的方法，最终总会被依赖大规模计算的通用方法所超越。从计算机象棋、语音识别到计算机视觉，这条规律反复上演。真正有效的方法是搜索和学习。这两种方法有一个共同点：它们能够随计算规模无限扩展。
这篇文章在AI界引发了持久讨论，许多从业者甚至将其视为支持大语言模型规模化路线的理论依据。然而，Sutton本人并不认同这种解读。在2025年9月接受播客主持人Dwarkesh Patel的访谈时，他直言当前的大语言模型并没有真正践行《苦涩的教训》的精神。他的核心论点是：大语言模型的学习来源是训练数据，而不是经验。将海量的人类文本灌入模型，本质上仍然是一种依赖人类知识的路径，与他所批评的将领域知识手工编入系统的做法并无本质区别，只是规模更大。
图｜Sutton 接受Dwarkesh Patel 访谈 （来源：Youtube）
Sutton进一步指出，大语言模型擅长模仿人类的表达，但它们并不具备在运行过程中持续学习的能力。一个训练完成的模型在部署之后就停止了学习，无法从与用户的交互中获取真正的新知识，也无法评估自身输出的正确性。在他看来，真正的智能必须具备通过试错产生新发现的能力。就像AlphaZero不再依赖人类棋谱、而是通过数百万局自我对弈发明了全新的下法那样。
2026年5月，Sutton在麻省理工学院发表Dertouzos杰出讲座时，更是直接地表示，作为一个庞大产业，AI在一定程度上已经偏离了方向。
OaK架构：从经验中生长出智能
Oak Lab的技术核心，是Sutton提出的OaK架构，全称为Options and Knowledge（选项与知识）。这个名字源自他与阿尔伯塔大学同事共同制定的长期研究路线图“阿尔伯塔计划”。
OaK的设计建立在三条原则之上：智能体必须是通用的，启动时不预设任何特定领域知识；所有知识都必须来自经验，通过与环境的交互获取；学习的驱动力是强化学习中的累积奖励最大化。
在技术层面，OaK围绕两个核心概念展开。“选项”（Options）是在时间上有所延伸的行为策略，它不是简单的下一步动作，而是一整套行为序列及其终止条件。“知识”（Knowledge）则是智能体在执行不同选项过程中对世界的理解。智能体在运行过程中不断创建新的选项、积累关于这些选项的知识，并利用内部构建的世界模型来预测行为的长期后果。
这套机制形成一个自我强化的循环：从经验中提取特征，将有用的特征抽象为更高层次的表示，再用这些表示去构建更复杂的规划能力。这个过程是开放式的，理论上只受限于可用的计算资源。
但Sutton也坦率地承认了技术瓶颈。当前深度学习系统在持续学习中面临两个根深蒂固的难题：一个是灾难性遗忘，新学到的信息会覆盖已有知识；另一个是可塑性丧失，系统在学习一段时间后逐渐失去继续学习新事物的能力。他在多个场合表示，尚未解决这些核心问题，这也是他还无法展示大规模OaK系统实例的原因。他在MIT的讲座上坦言，这仍然是一个愿景，但他相信这个愿景是可以实现的。
强化学习阵营的集结
Oak Lab的创立其实也有一定的铺垫。此前，Sutton的学生，被称为“AlphaGo之父”的Da vid Silver也已离开DeepMind，于2025年底创立了Ineffable Intelligence，并在2026年4月获得了11亿美元种子轮融资，估值高达51亿美元。
图｜Da vid Silver（来源：Google Deepmind）
Ineffable的路线与Oak Lab类似，同样押注强化学习，同样认为AI必须摆脱对人类数据的依赖，从自身经验中发现知识。而Sutton和Ja ved此前所在的Keen Technologies也是一家信奉强化学习路线的公司。师生三方几乎同时在这一方向上发力，共同向当前主流范式发起挑战。
当然，这一立场也存在着一定的争议。批评者指出，强化学习在围棋、国际象棋等有明确胜负规则的封闭领域取得了出色成果，但在开放式的现实世界环境中，奖励信号往往模糊不清，纯粹的强化学习面临巨大挑战。此外，当前AI在推理和数学方面的许多进步，恰恰来自将强化学习与大语言模型相结合的方法。两条路线是否必须对立，仍是一个开放问题。
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，