智能体通过全新的自主进化策略，提升取经能力-清华、港大研究新方法

时间：2024-11-30

「以史为鉴，可以知兴替。」人类的进步史是一个不断吸取过去经验、推进能力边界的自我演化过程。我们从过去的失败中吸取教训，纠正错误；借鉴成功经验，提升效率和效果。这种自我进化贯穿生活方方面面：总结经验解决工作问题，利用规律预测天气，我们持续从过去学习和进化。

成功从过去的经验中提取知识并将其应用于未来的挑战，这是人类进化之路上重要的里程碑。那么在人工智能时代，AI 智能体是否也可以做到同样的事情呢？

近年来，GPT和LLaMA等语言模型展示了在解决复杂任务时的惊人能力。然而，虽然它们可以利用工具解决具体任务，但本质上缺乏对过去成功和失败经历的洞见和汲取。这就像一个只能完成特定任务的机器人，虽然在当前任务中表现出色，但面对新的挑战时却无法调用过去的经验提供帮助。因此，我们需要进一步发展这些模型，使其能够积累知识和经验，并将其应用于新的情境中。通过引入记忆和学习机制，我们可以使这些模型具备更全面的智能，能够在不同任务和情境中灵活应对，并从过去的经验中获得启示。这将使得语言模型更加强大和可靠，并有助于推动人工智能的发展。

针对这一难题，近期来自清华大学、香港大学、人民大学以及面壁智能的联合团队提出了一种全新的智能体自我演化策略：探索 - 固化 - 利用（Investigate-Consolidate-Exploit，ICE）。它旨在通过跨任务的自我进化来提升 AI 智能体的适应性和灵活性。其不仅能提升智能体处理新任务时的效率和效果，还能显著降低对智能体基座模型能力的需求。

这个策略的出现，确实开启了智能体自我进化的新篇章，也标志着我们朝着实现完全自主的智能体又迈进了一步。

向完全自主性更进一步，清华、港大全新跨任务自我进化策略让智能体学会「以经验为鉴」

论文标题：Investigate-Consolidate-Exploit: A General Strategy for Inter-Task Agent Self-Evolution
论文链接：https://arxiv.org/abs/2401.13996

向完全自主性更进一步，清华、港大全新跨任务自我进化策略让智能体学会「以经验为鉴」智能体任务间经验迁移以实现自我进化概览图

智能体自我进化的两个方面：规划与执行

当前的复杂智能体主要可分为任务规划和任务执行两个方面。在任务规划方面，智能体通过逻辑推理将用户需求分解并制定详细的目标策略。而在任务执行方面，智能体利用各种工具与环境进行交互，以完成相应的子目标。

为了更好地促进以往经验的重复利用，作者在该论文中首先将进化策略解耦为两个方面。具体地，作者以XAgent智能体架构中的树状任务规划结构和ReACT链式工具执行为例，分别详细介绍了ICE策略的实现方法。

向完全自主性更进一步，清华、港大全新跨任务自我进化策略让智能体学会「以经验为鉴」智能体任务规划的 ICE 自我演化策略

对于任务规划，自我进化依照 ICE 被分为以下三个阶段：

在探索阶段，智能体记录下整个树状任务规划结构，并同时动态检测各个子目标的执行状态；
在固化阶段，智能体首先剔除所有失败的目标结点，之后对于每个成功完成的目标，智能体将以该目标为子树的所有叶子结点依次排开形成一条规划链（Workflow）；
在利用阶段，这些规划链将被作为新任务目标分解细化的参考依据，以利用过往的这些成功经验。

向完全自主性更进一步，清华、港大全新跨任务自我进化策略让智能体学会「以经验为鉴」智能体任务执行的 ICE 自我演化策略

任务执行的自我演化策略依然分为 ICE 三个阶段，其中：

在探索阶段，智能体动态记录每个目标执行的工具调用链，并对工具调用中出现的可能问题进行简单的检测归类；
在固化阶段，工具调用链将被转化为类似自动机的流水线（Pipeline）结构，工具调用顺序与调用之间的转移关系将被固定，同时还会去掉重复调用，增加分支逻辑等等让自动机自动化执行流程更加鲁棒；
在利用阶段，对于相似的目标，智能体将直接自动化执行流水线，从而提升任务完成效率。