ChatGPT真的是「通才」吗？杨笛一等人给它来了个摸底考试
论文链接：https://arxiv.org/pdf/2302.06476.pdf大型语言模型（LLM）已经被证明能够解决各种自然语言处理（NLP）任务，而且对于给定的下游任务，它们不依赖任何训练数据，借助适当的prompt就能实现模型调整。这种根据指令执行新任务的能力可以被视为迈向通用人工智能的重要一步。尽管目前的LLM在某些情况下取得了不错的性能，但在zero-shot学习中仍然容易出现各种错误。此外，prompt的格式可以产生实质性的影响。例如，在prompt中添加「Let’s
论文链接：https://arxiv.org/pdf/2302.06476.pdf
大型语言模型（LLM）已经被证明能够解决各种自然语言处理（NLP）任务，而且对于给定的下游任务，它们不依赖任何训练数据，借助适当的 prompt 就能实现模型调整。这种根据指令执行新任务的能力可以被视为迈向通用人工智能的重要一步。
尽管目前的 LLM 在某些情况下取得了不错的性能，但在 zero-shot 学习中仍然容易出现各种错误。此外，prompt 的格式可以产生实质性的影响。例如，在 prompt 中添加「Let’s think step by step」，模型性能就能得到显著提升。这些限制说明当前的 LLM 并不是真正的通用语言系统。
近日，OpenAI 发布的 ChatGPT LLM 在 NLP 社区引发极大关注。ChatGPT 是通过「人类反馈强化学习（RLHF）」训练 GPT-3.5 系列模型而创建的。RLHF 主要包括三个步骤：使用监督学习训练语言模型；根据人类偏好收集比较数据并训练奖励模型；使用强化学习针对奖励模型优化语言模型。通过 RLHF 训练，人们观察到 ChatGPT 在各个方面都具有令人印象深刻的能力，包括对人类输入生成高质量的响应、拒绝不适当的问题以及根据后续对话自我纠正先前的错误。
虽然 ChatGPT 显示出强大的对话能力，但与现有的 LLM 相比，NLP 社区仍然不清楚 ChatGPT 是否获得了更好的 zero-shot 泛化能力。为了填补这一研究空白，研究者们通过在涵盖 7 个代表性任务类别的大量 NLP 数据集上对 ChatGPT 进行评估，系统地研究了它的 zero-shot 学习能力。这些任务包括推理（reasoning）、自然语言推断（natural language inference）、问答（阅读理解）、对话、摘要、命名实体识别和情感分析。借助广泛的实验，研究者旨在回答以下问题：
- ChatGPT 是一个通用的 NLP 任务求解器吗？ChatGPT 在哪些类型的任务上表现良好？
- 如果 ChatGPT 在某些任务上落后于其他模型，那原因是什么？
为了回答这些问题，作者根据实验结果比较了 ChatGPT 和最先进的 GPT-3.5 模型 (text-davinci-003) 的性能。此外，他们还报告了 FLAN、T0 和 PaLM 等近期工作的 zero-shot、微调或 few-shot 微调结果。
主要结论
作者表示，据他们所知，这是第一次有人对 ChatGPT 在各种 NLP 任务上的 zero-shot 能力进行研究，旨在提供 ChatGPT 的初步概况。他们的主要发现如下：
- 虽然 ChatGPT 作为一个通才模型显示了一些可以执行多个任务的能力，但它通常比针对给定任务进行微调的模型表现要差（见图 1 和第 4.3 节）。
- ChatGPT 的卓越推理（reasoning）能力在算术推理任务中得到了实验证实（第 4.2.1 节）。然而，ChatGPT 在常识、符号和逻辑推理任务中的表现通常不如 GPT-3.5，例如通过生成不确定的响应可以看出来（第 4.2.2 节）。
- ChatGPT 在偏向于推理能力的自然语言推断任务（第 4.2.3 节）和问答（阅读理解）任务（第 4.2.4 节）方面优于 GPT-3.5，例如确定文本对中的逻辑关系。具体来说，ChatGPT 更擅长处理与事实一致的文本（即，更擅长对蕴含而不是非蕴含进行分类）。
- ChatGPT 在对话任务方面优于 GPT-3.5（第 4.2.5 节）。
- 在摘要任务方面，ChatGPT 会生成更长的摘要，比 GPT-3.5 表现要差。然而，在 zero-shot 指令中明确限制摘要长度会损害摘要质量，从而导致性能降低（第 4.2.6 节）。
- 尽管显示出作为通才模型的前景，但 ChatGPT 和 GPT-3.5 在某些任务上都面临挑战，例如序列标注（第 4.2.7 节）。
- ChatGPT 的情感分析能力接近 GPT-3.5（第 4.2.8 节）。
方法
如前文所述，该研究主要比较了 ChatGPT 和 GPT-3.5 (textdavinci-003) 在不同任务下的 zero-shot 学习性能。具体而言，他们将任务指令 P 和测试问题 X 作为输入，模型用 f 表示，然后生成目标文本 Y = f (P, X) 来解决测试问题。不同任务的指令和输入格式如图 2 和图 3 所示。
包含六种任务（情感分析、自然语言推理、命名实体识别、问答、对话和摘要）的指令和输入格式。指令为蓝色字体。
推理任务说明。
举例来说，当模型执行情感分析任务时，任务指令 P 将文本所包含的情感标记为积极或消极，则输出的答案为积极或消极。当模型在阅读了指令 P 和输入内容 X（内容为一部具有相当力量和真实性的令人惊叹的抒情作品）后，该模型经过判断，有望输出 Y 积极。
与上述单阶段 prompting 方法不同的是，该研究使用两阶段 prompting（Kojima 等人提出），来完成 zero-shot-CoT。
第一阶段采取「让模型一步一步思考（Let’s think step by step）」，指令 P_1 诱导模型生成基本原理 R。
第二阶段采用第一步生成的基本原理 R 以及原始输入 X 和指令 P_1 作为新的输入，引导模型生成最终答案。
之后一个新的指令 P_2 作为提取答案的触发语句。所有任务指令均取自 Brown、Ouyang、Zhang 等人研究，或受其启发。最后需要注意的是，每次对 ChatGPT 进行新的查询时，都要提前清除对话，以避免前面示例的影响。
实验
实验用 20 个不同的数据集来评估 ChatGPT 和 GPT-3.5，涵盖 7 类任务。
算术推理
ChatGPT 和 GPT-3.5 在没有或有 CoT 的情况下，在六个算术推理数据集上的准确率如表 2 所示。在没有 CoT 的实验中，ChatGPT 在其中 5 个数据集上的性能优于 GPT-3.5，显示了其强大的算术推理能力。
图 4 显示了 GPT-3.5 给出错误答案的情况。在图的左侧，问「温迪在玩电子游戏，有 43 条命。在游戏的艰难部分，她失去了 8 条生命。如果她在下一关多得到 39 条命，她会有多少条命？」ChatGPT 给出了正确答案。然而，GPT-3.5 生成了一个错误的答案。可以看出，在使用 CoT 时，ChatGPT 的性能都比 GPT-3.5 好得多。
常识、符号和逻辑推理
表 3 报告了 ChatGPT 与流行 LLM 在常识、符号和逻辑推理数据集上的准确率。可以得到如下观察结果：首先，使用 CoT 可能并不总是在常识推理任务中提供更好的性能，常识推理任务可能需要更细粒度的背景知识。其次，与算术推理不同，ChatGPT 在很多情况下的表现都比 GPT-3.5 差，说明 GPT-3.5 的相应能力更强。
为了分析原因，该研究在图 5 中展示了 ChatGPT 的几个失败案例。我们可以观察到 ChatGPT 很容易产生不确定的响应，从而导致性能不佳。
自然语言推理
表 4 展示了不同模型在两个自然语言推理任务上的结果：RTE 和 CB。我们可以看到，在 zero-shot 设置下，ChatGPT 可以取得比 GPT-3.5、FLAN、T0 和 PaLM 更好的性能。这证明 ChatGPT 在 NLP 推理任务中，具有较好的 zero-shot 性能。
问答
表 6 报告了不同模型在 BoolQ 数据集的准确率，ChatGPT 优于 GPT-3.5 。这表明 ChatGPT 可以更好地处理推理任务。
对话
表 8 中显示了 ChatGPT 和 GPT-3.5 在 MuTual 数据集（多轮对话推理）上的准确率。正如预期的那样，ChatGPT 大大优于 GPT-3.5。
图 6 为一个具体的示例，我们可以看到 ChatGPT 能够更有效地对给定的上下文进行推理。这再次印证了 ChatGPT 超强的推理能力。
生成摘要
表 9 报告 ChatGPT 和 GPT-3.5 在 SAMSum 数据集上的 ROUGE 得分，令人惊讶的是，ChatGPT 在所有指标上都不如 GPT-3.5。
命名实体识别
表 10 报告了 ChatGPT 和 GPT-3.5 在 CoNLL03 上的 zero-shot 性能。我们可以看到 ChatGPT 和 GPT-3.5 的整体性能非常相似。
情感分析
表 11 比较了不同模型在情感分析数据集 SST2 上的准确率。令人惊讶的是，ChatGPT 的表现比 GPT-3.5 差了大约 1%。
如需了解更多内容，请参考原论文。
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，