展开菜单
首页 精品内容 本月促销 装机必备 Windows macOS软件 IOS软件 Android AI PDF教程 专题
全部分类

当前位置:

首页 > 业界资讯 > 腾讯AI Lab在星际2中展现新突破:实现灵活策略应对职业选手

腾讯AI Lab在星际2中展现新突破:实现灵活策略应对职业选手

腾讯AILab的游戏AI团队最近宣布了在《星际争霸2》中的最新研究进展,他们提出了一种创新的训练方法,显著提高了AI的局内策略应变能力。在考虑了APM公平的对战环境中,AI与三位国内顶尖的神族职业选手进行了多达20局的神族对战,稳定地保持了50%以上的胜率。这项成果已被NeurIPS2023Spotlight论文收录实时策略游戏(RTS)以其复杂的游戏环境更贴近现实世界,一直是AI研究的焦点和挑战所在。《星际争霸2》作为其中极具代表性的游戏,因其对资源收集、战术规划和对手分析的高实时要求,已成为业内广泛用

腾讯AI Lab的游戏AI团队最近宣布了在《星际争霸2》中的最新研究进展,他们提出了一种创新的训练方法,显著提高了AI的局内策略应变能力。在考虑了APM公平的对战环境中,AI与三位国内顶尖的神族职业选手进行了多达20局的神族对战,稳定地保持了50%以上的胜率。这项成果已被NeurIPS 2023 Spotlight论文收录


实时策略游戏(RTS)以其复杂的游戏环境更贴近现实世界,一直是 AI 研究的焦点和挑战所在。《星际争霸 2》作为其中极具代表性的游戏,因其对资源收集、战术规划和对手分析的高实时要求,已成为业内广泛用于训练和验证 AI 决策能力的理想平台。早在 2018 年,腾讯 AI Lab 研发的 AI 就已击败游戏内最高难度的 AI。

业界的联盟训练方法(League)虽然在星际 AI 强度上取得了突破性进展,但其中在 AI 局内策略应变能力以及训练效率存在不足。针对这些问题,腾讯 AI Lab 研发了新的算法进行改进,一方面提出了一种基于目标条件的强化学习(Goal-Conditioned RL)方法来训练利用者(Exploiter),使利用者在有限资源下能够高效探索多样策略并击败联盟中的其他智能体(Agent);另一方面通过引入对手建模机制,有效提升了智能体面对不同对手战术的应变能力。

NeurIPS 2023 Spotlight | 腾讯AI Lab绝悟新突破:在星际2灵活策略应对职业选手

论文链接:https://openreview.net/pdf?id=tDAu3FPJn9

这项研究有助于推进 AI 智能化,增强 AI 应对复杂问题的泛化能力。在从 MOBA 到足球、RTS,再到 3D 开放世界游戏(如 Minecraft)等多样化游戏环境,“绝悟” 持续展现了其决策能力的提升。展望未来,决策智能 AI 将能更好地适应人类的真实需求,解决现实世界的复杂问题。

基于目标条件的强化学习提升利用者训练效果

利用者(Exploiter)是联盟训练中的重要角色,用于发现联盟中其他智能体的弱点,以丰富其他智能体陪练的对手池策略,为提升智能体策略应变能力提供基础环境。

在经典的星际 AI 联盟训练框架中,利用者并没有具体的目标策略指导,而是通过不断的随机探索来识别主智能体(Main Agent)和整个联盟的弱点。然而,考虑到《星际争霸 2》策略空间的庞大和复杂性,这种方法可能导致资源浪费和训练低效。

为了在有限的计算资源下提升利用者的学习效果,本研究提出了一种新颖的基于目标条件的强化学习训练方法。该方法让利用者能够自动挑选有 “潜力” 的宏观策略,并在相应宏观策略条件下进行训练,发现联盟其他智能体的弱点。

NeurIPS 2023 Spotlight | 腾讯AI Lab绝悟新突破:在星际2灵活策略应对职业选手

图 1: 基于 goal-conditioned rl 的 exploiter 训练示意图

如图 1 所示,新方法通过评估主智能体在不同宏观策略条件下的胜率和执行偏差,来指导利用者的策略选择。从主智能体的高胜率宏观策略中采样的利用者被称为利用型利用者(Exploitative Exploiter),它的特点在于参数会重置为当前主智能体的参数,利用主智能体在该宏观策略下的高胜率能力,通过强化学习进一步提高微操技能,以击败其他智能体。同时,为了提升联盟中能够执行的宏观策略多样性,研究团队引入了探索型利用者(Explorative Exploiter)。探索型利用者专注于学习主智能体在执行上存在大偏差的宏观策略,以充分挖掘这类宏观策略的价值。在训练过程中,新方法除了将探索型利用者的参数重置为监督学习模型的参数外,还引入了课程学习机制和目标策略引导损失函数,以帮助其有效学习主智能体难以掌握的宏观策略。

基于对手建模提升 AI 局内策略应变能力

局内策略应变能力在《星际争霸 2》中至关重要,同时也是 AI 研究的一大挑战。这一能力指的是 AI 根据对手的实时策略做出合理的自身策略调整。其难点在于 AI 需要在不完全的信息环境中快速准确地解读和预测对手的策略,这不仅需要对复杂场景信息做高度抽象,还对预测能力有很高的要求。

本研究基于对手建模的理念,增加了一个辅助任务网络,专门用于估计对手的策略,并将这些信息的隐空间表达应用于主网络的策略调整学习。

NeurIPS 2023 Spotlight | 腾讯AI Lab绝悟新突破:在星际2灵活策略应对职业选手

图 2: 对手建模方法示意图

具体的对手建模方法如图 2 所示,由于游戏存在 “战争迷雾” 机制,整体的网络结构建模按照 VAE 的架构设计。输入为当前观测到的对手信息,利用 LSTM 处理时序信息,预测关键的对手策略内容,例如不同兵种和建筑的数量,以及不同科技的升级情况。下面公式中 yt 表示 t 时刻对手的策略,Ot 表示 t 时刻观测到的对手信息,例如观测到的对手不同兵种和建筑数量,自身的视野信息等。整个网络参数基于人类数据进行训练优化。

NeurIPS 2023 Spotlight | 腾讯AI Lab绝悟新突破:在星际2灵活策略应对职业选手

为了进一步提升效果,文章还提出了一种基于对手策略估计输出计算的 “侦探” reward,鼓励 AI 通过有效的侦探,更全面地掌握对手策略的信息。这一设计能降低对手策略估计输出的交叉熵,从而提高 AI 预估的正确性。

实验结果

为了验证新训练算法 ROA-Star 的策略应变能力,研究团队邀请了国内 3 位顶尖的神族职业选手对神族 AI 进行全面测试。与过往研究中通常只进行少量对局的做法不同,本次测试中 AI 与每位职业选手进行了多达 20 局的对战,以观察局数增加对胜率波动的影响。结果显示,AI 在所有测试中均能保持 50% 及以上的胜率,表明 AI 具备稳定的策略适应性。同时,AI 的瞬间 APM 被限制低于 800,平均 APM 低于 250,且职业选手有充分的休息时间,确保了对战的公平性。图 3 展示了 AI 的平均胜率随着对局数目的变化情况。

NeurIPS 2023 Spotlight | 腾讯AI Lab绝悟新突破:在星际2灵活策略应对职业选手

图 3: 与 3 位顶尖神族职业选手测试过程中 AI 的平均胜率随着对局数目的变化

此外,研究团队采用相同的硬件资源,基于经典的联盟基线算法以及自研的新算法分别训练了 10 天的时间。通过将两个实验中所有智能体对战 100 局,并根据对战胜率统计了的 Elo 曲线,如图 4 所示。Elo 曲线清晰地显示了 ROA-Star 算法的有效性,主智能体的强度提升速度明显更快。同时,新提出的利用型利用者和探索型利用者的强度也能持续跟上主智能体,为主智能体提供了丰富的匹配其强度的对手池,有利于提升其策略的鲁棒性。

NeurIPS 2023 Spotlight | 腾讯AI Lab绝悟新突破:在星际2灵活策略应对职业选手

图 4: 基线算法和自研算法训练过程中不同类型 agent 的 Elo 分变化

为进一步探索对手建模对于 AI 策略鲁棒性和局内应变能力的影响,研究团队还进行了消融实验。实验对基线算法和增加对手建模特性的新算法分别训练了 5 天,随后将训练得到的主智能体分别与 4 个具有不同宏观策略的 AI 进行了 100 局对战。如图 5 和表 1 所示,增加对手建模特性的新算法,能够根据对手的不同策略调整自身策略,显著提升了相应的胜率。

NeurIPS 2023 Spotlight | 腾讯AI Lab绝悟新突破:在星际2灵活策略应对职业选手

图 5: 基线算法和增加对手建模特性算法在应对不同策略时采用的策略统计图

NeurIPS 2023 Spotlight | 腾讯AI Lab绝悟新突破:在星际2灵活策略应对职业选手

表 1: 基线算法和增加对手建模特性算法对战不同对手宏观策略时的胜率

总结来说,决策智能 AI 正在朝着管理更多智能体、应对更复杂环境、增强协作能力的方向发展。本研究创新性地改进了星际 AI 研究方法 ,有效提升了 AI 的策略应变能力和鲁棒性。这不仅在学术侧为 AI 复杂决策提供了新的视角,也展示了决策智能 AI 未来在游戏、自动化、智慧城市管理以及复杂系统模拟等更广泛领域的应用潜力。
本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
业界资讯
相关文章 更多
精品专题 更多
本月促销

正软商城本月促销专区,汇集办公、设计、安全、影音、系统工具及AI软件等正版软件优惠活动,提供限时折扣、特价授权和优惠购买信息,活动库存及价格以页面实时展示为准。

装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

IOS软件

正软商城iOS软件专区,精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用,提供功能介绍、适用设备、系统要求和正版获取方式等信息。

AI

正软商城AI软件专区,汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具,提供功能介绍、适用平台、收费方式及正版购买信息。

PDF教程

正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

Mac软件 更多
灵活计算器
灵活计算器

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

图几
图几

图几是一款适用于 macOS 的截图、标注与美化工具,支持离线操作保障隐私。界面整理和高频系统操作被放到一起考虑,桌面或窗口内容一多时,管理起来会更省心。

密码键盘
密码键盘

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。

思源笔记
思源笔记

思源笔记是一款本地笔记软件,提供所见即所得的编辑方式,为长文写作带来顺滑的体验。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

Office 365 简体中文
Office 365 简体中文

一款文字处理软件,一种订阅式的跨平台办公软件,基于云平台提供多种服务,通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合,Office 365 可让任何人使用任何设备随时随地创建和共享内容。

WALTR PRO
WALTR PRO

WALTR是一款电脑至iOS文件传输转换工具,操作简单,快速实现文件识别与传送。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

CodeExpander
CodeExpander

CodeExpander 是一款快捷短语输入增强工具,通过键入缩写自动展开为自定义文段,提升工作效率。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

Mountain Duck
Mountain Duck

Mountain Duck 是一款能将多个网盘挂载到本地的工具,像本地磁盘一样使用网盘。清理链路的完整性会更好一些,做应用卸载、残留处理和空间整理时,通常能少走很多手动排查步骤。

Menuist
Menuist

Menuist 是一款面向 macOS 的 Finder 右键菜单增强工具,主要用来补充新建文件、快捷导航等常用操作,让日常文件管理和访问路径时更高效、更顺手。

Mole
Mole

Mole 是一款专为 Mac 设计的深度清理优化工具,涵盖缓存清理、应用管理及实时状态监控等功能。清理链路的完整性会更好一些,做应用卸载、残留处理和空间整理时,通常能少走很多手动排查步骤。

WINDOWS 更多
Windows 10
Windows 10

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。

思源笔记
思源笔记

思源笔记是一款本地笔记软件,提供所见即所得的编辑方式,为长文写作带来顺滑的体验。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

傲梅轻松备份
傲梅轻松备份

傲梅轻松备份是一款专业易用的数据备份软件,为重要数据提供安全保障。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。

Office 365 简体中文
Office 365 简体中文

一款文字处理软件,一种订阅式的跨平台办公软件,基于云平台提供多种服务,通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合,Office 365 可让任何人使用任何设备随时随地创建和共享内容。

Wise Folder Hider Pro
Wise Folder Hider Pro

Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件,为私密数据添加多重保护。高频操作更强调就近处理,浏览、整理和跨目录移动文件时,来回切换和重复点击都会少很多。

WALTR PRO
WALTR PRO

WALTR是一款电脑至iOS文件传输转换工具,操作简单,快速实现文件识别与传送。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

CodeExpander
CodeExpander

CodeExpander 是一款快捷短语输入增强工具,通过键入缩写自动展开为自定义文段,提升工作效率。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

PinStack
PinStack

PinStack是一款轻量级的Windows平台剪贴板管理工具,优化您的剪贴板使用体验。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

Mountain Duck
Mountain Duck

Mountain Duck 是一款能将多个网盘挂载到本地的工具,像本地磁盘一样使用网盘。清理链路的完整性会更好一些,做应用卸载、残留处理和空间整理时,通常能少走很多手动排查步骤。

Seer
Seer

Seer是一款在Win平台下的空格键功能增强效率工具,只需轻敲空格键,就能预览几乎任何格式的文件。它更适合把零散的小功能集中起来使用,处理高频琐碎任务时会更省事。