展开菜单
首页 精品内容 本月促销 装机必备 Windows macOS软件 IOS软件 Android AI PDF教程 专题
全部分类

当前位置:

首页 > 业界资讯 > 通过操纵代码语料,大模型和智能体共同释放出更强大的能量

通过操纵代码语料,大模型和智能体共同释放出更强大的能量

正如瑞斯福兹魔杖缔造了诸如邓布利多在内的历代非凡魔法师的传奇,具有巨大潜能的传统大型语言模型,在经过代码语料的预训练/精调后,掌握了更超出本源的执行力。具体来说,进阶版的大模型在编写代码、更强推理、自主援引执行接口、自主完善等方面都获得了提升,这将为它作为AI智能体、执行下游任务时方方面面带来增益。近日,伊利诺伊大学厄巴纳-香槟分校(UIUC)的研究团队发布了一项重要综述。论文链接:https://arxiv.org/abs/2401.00812这篇综述探讨了代码(Code)如何赋予大型语言模型(LLMs

正如瑞斯福兹魔杖缔造了诸如邓布利多在内的历代非凡魔法师的传奇,具有巨大潜能的传统大型语言模型,在经过代码语料的预训练 / 精调后,掌握了更超出本源的执行力。

具体来说,进阶版的大模型在编写代码、更强推理、自主援引执行接口、自主完善等方面都获得了提升,这将为它作为 AI 智能体、执行下游任务时方方面面带来增益。

近日,伊利诺伊大学厄巴纳 - 香槟分校(UIUC)的研究团队发布了一项重要综述。

挥舞起代码语料的魔杖,大模型和智能体将召唤出更强大的能量

论文链接: https://arxiv.org/abs/2401.00812

这篇综述探讨了代码(Code)如何赋予大型语言模型(LLMs)及其基于此的智能体(Intelligent Agents)强大的能力。挥舞起代码语料的魔杖,大模型和智能体将召唤出更强大的能量
其中,code 特指机器可执行且人类可读的形式语言,如编程语言、预定义函数集等。类似于我们指导 LLMs 理解 / 生成传统自然语言,让 LLMs 精通 code,仅需要将相同的语言建模训练目标应用在 code 数据上。

和传统语言模型不同,当今通用的 LLMs,如 Llama2、GPT4,不仅在体量上显著提升,并且它们经历了独立于典型自然语言语料的 code 语料训练。Code 具有标准化的语法、逻辑一致性、抽象性和模块化特性,并且能将高层次的目标转化为可执行的步骤,使之成为连接人类和计算机的理想媒介。

如图 2 所示,在本篇综述中,研究人员通过辑录相关工作,详细分析阐明了将 code 纳入 LLMs 训练数据的各种优点。

挥舞起代码语料的魔杖,大模型和智能体将召唤出更强大的能量

具体来说,研究人员观察到 code 的独特属性有助于:

1. 增强 LLMs 的 code 编写能力、推理能力,以及结构化信息处理能力,使其能够应用于更复杂的自然语言任务;
2. 引导 LLMs 产生结构化的、精确的中间步骤,这些步骤可以通过函数调用与外部执行端连接;
3. 利用 code 的编译、执行环境,为模型自主改进提供多样化反馈。

此外,研究人员也深察了这些由 code 赋予的 LLMs 的优化项,如何强化它们作 Intelligent Agent 的决策中心,理解指令、分解目标、规划和执行行动以及从反馈中改进的一系列能力。

如图 3 所示,在第一个部分中,研究人员发现 LLMs 在 code 上的预训练,已将 LLMs 的任务范围扩展到自然语言之外。这些模型能够支持多样化的应用,包括为数学理论生成 code、常规编程任务,以及数据检索等。Code 需要产生逻辑上连贯、有序的步骤序列,这对于有效执行至关重要。此外,code 中每个步骤的可执行性允许逐步验证逻辑。在预训练中利用并嵌入这些 code 属性提高了 LLMs 在许多传统自然语言下游任务中的思维链(CoT)表现,验证了它们在复杂推理技能上的改进。同时,通过对 code 结构化格式的隐式学习,codeLLMs 在常识性结构化推理任务上表现更佳,如与标记语言、HTML 和图表理解相关的任务。
挥舞起代码语料的魔杖,大模型和智能体将召唤出更强大的能量
如图 4 所示,将 LLMs 与其他功能端相连接(即通过外部工具和执行模块扩展 LLMs 能力)有助于 LLMs 更准确、可靠地执行任务。

挥舞起代码语料的魔杖,大模型和智能体将召唤出更强大的能量

在第二个部分中,如表 1 所示,研究人员观察到一种普遍趋势:LLMs 通过生成编程语言或利用预定义函数与其他功能端建立连接。这种 “以 code 为中心的范式” 不同于严格在 LLMs 推理机制中硬编码工具调用的刻板做法,它允许 LLMs 动态生成调用执行模块的令牌,具有可调整的参数。

挥舞起代码语料的魔杖,大模型和智能体将召唤出更强大的能量

这种范式为 LLMs 与其他功能端的互动提供了一种简单明确的方式,增强了它们应用的灵活性和可扩展性。更为重要的是,它也允许 LLMs 与涵盖多种模态和领域的众多功能端进行互动。通过扩展 LLMs 可访问的功能端的数量和种类,LLMs 能够处理更复杂的任务。

如图 5 所示,将 LLMs 嵌入 code 执行环境可以实现自动化反馈和模型自主改进。LLMs 的表现超出了其训练参数的范围,部分原因是它们能够接纳反馈。然而,必须谨慎选择反馈,因为嘈杂的提示输入可能会妨碍 LLMs 在下游任务上的表现。此外,由于人力资源代价高昂,反馈需要在保持真实性的同时满足自动收集。在第三个部分中,研究人员发现将 LLMs 嵌入 code 执行环境可以获得满足所有这些标准的反馈。

挥舞起代码语料的魔杖,大模型和智能体将召唤出更强大的能量

首先,由于 code 执行是确定性的,从执行 code 的结果中获取反馈能够直白忠实反映 LLM 执行的任务。此外,code 解释器为 LLMs 提供了一种自动查询内部反馈的途径,消除了在利用 LLMs 调试或优化错误 code 时需要昂贵的人工注释的需求。Code 编译与执行环境也允许 LLMs 纳入多样化和全面的外部反馈形式,如简单的生成二值的正确和错误评价、稍复杂的对执行结果的自然语言解释,以及各种带有回馈值的排名方法,他们都使得提高性能的方法高度可定制化。

通过分析 code 训练数据集成如何增强 LLMs 能力的各种方式,研究人员进一步发现,code 赋能 LLMs 的优势在 Intelligent Agent 的研发这项关键的 LLM 应用领域尤为明显。

图 6 显示了一个智能助理的标准工作流程。研究人员观察到,通过 code 训练在 LLMs 中带来的改进,也同时一一作用于它们作为智能助理时的实际步骤。

挥舞起代码语料的魔杖,大模型和智能体将召唤出更强大的能量

这些步骤包括:(1) 增强 IA 在环境感知和规划方面的决策能力, (2) 通过将行动落实于模块化动作原语和高效组织记忆来优化策略执行,以及 (3) 通过从 code 执行环境自动派生的反馈优化性能。

总的来说,在本篇综述中,研究人员分析并阐明了 code 如何赋予 LLMs 强大能力,以及 code 如何协助 LLMs 作为 Intelligent Agents 决策中心工作。

通过全面的文献回顾,研究人员观察到经过 code 训练后,LLMs 提高了它们的编程技能和推理能力,获得了实现与跨模式和领域的多种功能端的灵活连接能力,以及强化了与 code 执行环境中集成的评估模块进行互动并实现自动自我提升的能力。

此外,code 训练带来的 LLMs 能力提升有助于它们作为 Intelligent Agent 在下游应用中的表现,体现于如决策、执行和自我提升等特定操作步骤。回顾以往的研究之外,研究人员也提出了该领域的几个挑战,作为未来潜在发展方向的指导要素。

更多细节请参考原文!
本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
业界资讯
相关文章 更多
精品专题 更多
本月促销

正软商城本月促销专区,汇集办公、设计、安全、影音、系统工具及AI软件等正版软件优惠活动,提供限时折扣、特价授权和优惠购买信息,活动库存及价格以页面实时展示为准。

装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

IOS软件

正软商城iOS软件专区,精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用,提供功能介绍、适用设备、系统要求和正版获取方式等信息。

AI

正软商城AI软件专区,汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具,提供功能介绍、适用平台、收费方式及正版购买信息。

PDF教程

正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

Mac软件 更多
灵活计算器
灵活计算器

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

图几
图几

图几是一款适用于 macOS 的截图、标注与美化工具,支持离线操作保障隐私。界面整理和高频系统操作被放到一起考虑,桌面或窗口内容一多时,管理起来会更省心。

密码键盘
密码键盘

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。

思源笔记
思源笔记

思源笔记是一款本地笔记软件,提供所见即所得的编辑方式,为长文写作带来顺滑的体验。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

Office 365 简体中文
Office 365 简体中文

一款文字处理软件,一种订阅式的跨平台办公软件,基于云平台提供多种服务,通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合,Office 365 可让任何人使用任何设备随时随地创建和共享内容。

WALTR PRO
WALTR PRO

WALTR是一款电脑至iOS文件传输转换工具,操作简单,快速实现文件识别与传送。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

CodeExpander
CodeExpander

CodeExpander 是一款快捷短语输入增强工具,通过键入缩写自动展开为自定义文段,提升工作效率。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

Mountain Duck
Mountain Duck

Mountain Duck 是一款能将多个网盘挂载到本地的工具,像本地磁盘一样使用网盘。清理链路的完整性会更好一些,做应用卸载、残留处理和空间整理时,通常能少走很多手动排查步骤。

Menuist
Menuist

Menuist 是一款面向 macOS 的 Finder 右键菜单增强工具,主要用来补充新建文件、快捷导航等常用操作,让日常文件管理和访问路径时更高效、更顺手。

Mole
Mole

Mole 是一款专为 Mac 设计的深度清理优化工具,涵盖缓存清理、应用管理及实时状态监控等功能。清理链路的完整性会更好一些,做应用卸载、残留处理和空间整理时,通常能少走很多手动排查步骤。

WINDOWS 更多
Windows 10
Windows 10

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。

思源笔记
思源笔记

思源笔记是一款本地笔记软件,提供所见即所得的编辑方式,为长文写作带来顺滑的体验。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

傲梅轻松备份
傲梅轻松备份

傲梅轻松备份是一款专业易用的数据备份软件,为重要数据提供安全保障。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。

Office 365 简体中文
Office 365 简体中文

一款文字处理软件,一种订阅式的跨平台办公软件,基于云平台提供多种服务,通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合,Office 365 可让任何人使用任何设备随时随地创建和共享内容。

Wise Folder Hider Pro
Wise Folder Hider Pro

Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件,为私密数据添加多重保护。高频操作更强调就近处理,浏览、整理和跨目录移动文件时,来回切换和重复点击都会少很多。

WALTR PRO
WALTR PRO

WALTR是一款电脑至iOS文件传输转换工具,操作简单,快速实现文件识别与传送。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

CodeExpander
CodeExpander

CodeExpander 是一款快捷短语输入增强工具,通过键入缩写自动展开为自定义文段,提升工作效率。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

PinStack
PinStack

PinStack是一款轻量级的Windows平台剪贴板管理工具,优化您的剪贴板使用体验。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

Mountain Duck
Mountain Duck

Mountain Duck 是一款能将多个网盘挂载到本地的工具,像本地磁盘一样使用网盘。清理链路的完整性会更好一些,做应用卸载、残留处理和空间整理时,通常能少走很多手动排查步骤。

Seer
Seer

Seer是一款在Win平台下的空格键功能增强效率工具,只需轻敲空格键,就能预览几乎任何格式的文件。它更适合把零散的小功能集中起来使用,处理高频琐碎任务时会更省事。