ChatGPT要把数据标注行业干掉了？比人便宜20倍，而且还更准
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
没想到，AI进化之后淘汰掉的第一批人，就是帮AI训练的人。很多NLP应用程序需要为各种任务手动进行大量数据注释，特别是训练分类器或评估无监督模型的性能。根据规模和复杂程度，这些任务可能由众包工作者在MTurk等平台上以及训练有素的标注人（如研究助理）执行。我们知道，语言大模型（LLM）在规模到达一定程度之后可以「涌现」——即获得此前无法预料的新能力。作为推动AI新一轮爆发的大模型，ChatGPT在很多任务上的能力也超出了人们的预期，其中就包括给数据集做标注这种自己训练自己的工作。近日
没想到，AI 进化之后淘汰掉的第一批人，就是帮 AI 训练的人。
很多 NLP 应用程序需要为各种任务手动进行大量数据注释，特别是训练分类器或评估无监督模型的性能。根据规模和复杂程度，这些任务可能由众包工作者在 MTurk 等平台上以及训练有素的标注人（如研究助理）执行。
我们知道，语言大模型（LLM）在规模到达一定程度之后可以「涌现」—— 即获得此前无法预料的新能力。作为推动 AI 新一轮爆发的大模型，ChatGPT 在很多任务上的能力也超出了人们的预期，其中就包括给数据集做标注这种自己训练自己的工作。
近日，来自苏黎世大学的研究者证明了 ChatGPT 在多项注释任务（包括相关性、立场、主题和框架检测）上优于众包工作平台和人类工作助理。
此外，研究人员还做了计算：ChatGPT 的每条注释成本不到 0.003 美元 —— 大约比 MTurk 便宜 20 倍。这些结果显示了大型语言模型在大幅提高文本分类效率方面的潜力。
论文链接：https://arxiv.org/abs/2303.15056
研究细节
许多 NLP 应用程序需要高质量的标注数据，特别是用于训练分类器或评估无监督模型的性能。例如，研究人员有时需要过滤嘈杂的社交媒体数据以获得相关性，将文本分配给不同的主题或概念类别，或者衡量他们的情绪立场。无论用于这些任务的具体方法是什么（监督、半监督或无监督学习），都需要准确地标注数据来构建训练集，或用其作为评估性能的黄金标准。
对此，人们通常的处理方式是招募研究助理，或者使用 MTurk 这样的众包平台。OpenAI 在打造 ChatGPT 时，也将负面内容问题分包给了肯尼亚的数据标注机构，进行了大量标注训练才敢正式上线。
由瑞士苏黎世大学提交的这篇报告探讨了大语言模型（LLM）在文本标注任务中的潜力，并重点关注了 2022 年 11 月发布的 ChatGPT。它证明了零样本（即没有任何额外训练）ChatGPT 在分类任务上优于 MTurk 标注 ，而成本仅需人工的几十分之一。
研究人员使用了之前的研究收集的 2382 条推文样本。这些推文由训练有素的注释者（研究助理）标记为五种不同的任务：相关性、立场、主题和两种框架检测。实验中，研究者将任务作为零样本分类提交给 ChatGPT，并同时给 MTurk 上的众包工作者，然后根据两个基准评估了 ChatGPT 的性能：相对于众包平台上人类工作者的准确性，以及相对于研究助理注释者的准确性。
结果发现，在五分之四的任务上，ChatGPT 的零样本准确率高于 MTurk。对于所有任务，ChatGPT 的编码器协议都超过了 MTurk 和训练有素的注释者。此外在成本上，ChatGPT 比 MTurk 便宜得多：五个分类任务在 ChatGPT（25264 个注释）上的成本约为 68 美元，在 MTurk（12632 个注释）上的成本约为 657 美元。
这么一算，ChatGPT 的每条注释成本约为 0.003 美元，即三分之一美分 —— 比 MTurk 便宜约 20 倍，而且质量更高。鉴于此，我们现在已有可能对更多样本进行注释，或者为监督学习创建大型训练集。根据现有的测试，10 万个注释的成本约为 300 美元。
研究人员表示，虽然需要进一步研究以更好地了解 ChatGPT 和其他 LLM 如何在更广泛的环境中发挥作用，但这些结果表明它们有可能改变研究人员进行数据注释的方式，并破坏 MTurk 等平台的部分业务模型。
实验过程
研究人员使用了包含 2382 条推文的数据集，这些推文是之前针对内容审核相关任务的研究手动注释的。具体来说，训练有素的注释者（研究助理）为五个具有不同类别数量的概念类别构建了黄金标准：推文与内容审核问题的相关性（相关 / 不相关）；关于第 230 条（美国 1996 年《通信规范法》的一部分）的立场，这是美国互联网立法的一个关键部分；主题识别（六类）；第一组框架（内容审核作为问题、解决方案或中性）；以及第二组框架（十四类）。
然后，研究人员使用 ChatGPT 和在 MTurk 上招募的众包工作者进行了这些完全相同的分类。对于 ChatGPT 进行了四组标注。为了探索控制输出随机程度的 ChatGPT 温度参数的影响，这里使用默认值 1 和 0.2 进行注释，这意味着随机性较小。对于每个温度值，研究人员进行了两组注释来计算 ChatGPT 的编码器协议。
对于专家，该研究找到了两名政治学研究生，对所有五项任务对推文进行注释。对于每项任务，编码员都获得了相同指令集，其被要求逐个任务独立地注释推文。为了计算 ChatGPT 和 MTurk 的准确性，对比只考虑了两个训练有素的注释者都同意的推文。
对于 MTurk，研究的目标是选择最好的工作者群体，特别是通过筛选被亚马逊归类为「MTurk 大师」、好评超过 90% 且在美国的工作者。
该研究使用「gpt-3.5-turbo」版本的 ChatGPT API 对推文进行分类。注释于 2023 年 3 月 9 日至 3 月 20 日之间进行。对于每个注释任务，研究人员有意避免添加任何特定于 ChatGPT 的提示（prompt），例如「让我们逐步思考」，以确保 ChatGPT 和 MTurk 众包工作者之间的可比性。
在测试了几种变体之后，人们决定使用这样的提示将推文一条一条地提供给 ChatGPT：「这是我选择的推文，请将其标记为 [任务特定说明（例如，说明中的主题之一）]。此外，该研究中每条推文收集了四个 ChatGPT 响应，也为每条推文创建一个新的聊天会话，以确保 ChatGPT 结果不受注释历史记录的影响。
图 1. 与 MTurk 上高分标注人相比，ChatGPT zero-shot 的文本标注能力。ChatGPT 在五项任务中的四项中的准确性优于 MTurk。
在上图中 ChatGPT 有优势的四项任务中，在一种情况下（相关性）ChatGPT 略有优势，但其性能与 MTurk 非常相似。其他三种情况下（frams I、frams II 和 Stance），ChatGPT 的性能比 MTurk 高 2.2 到 3.4 倍。此外，考虑到任务的难度、类的数量以及注释是零样本的事实，ChatGPT 的准确度总体来说绰绰有余。
对于相关性，有两个类别（相关 / 不相关），ChatGPT 的准确率为 72.8%，而对于立场，有三个类别（正面 / 负面 / 中性）的准确率为 78.7%。随着类别数量的增加，准确性会降低，尽管任务的内在难度也有影响。关于编码器协议，图 1 显示 ChatGPT 的性能非常高，当温度参数设置为 0.2 时，所有任务的性能都超过 95%。这些值高于任何人类，包括训练有素的注释者。即使使用默认温度值 1（这意味着更多的随机性），编码器间一致性始终超过 84%。编码器间一致性和准确性之间的关系是正的，但很弱（皮尔逊相关系数：0.17）。尽管相关性仅基于五个数据点，但它表明较低的温度值可能更适合注释任务，因为它似乎可以提高结果的一致性而不会大幅降低准确性。
必须强调的是，对 ChatGPT 进行测试非常困难。内容审核是一个复杂的主题，需要大量资源。除了立场之外，研究人员还为特定研究目的开发了概念类别。此外，一些任务涉及大量类别，然而 ChatGPT 仍然达到了很高的准确率。
使用模型来注释数据并不是什么新鲜事，在使用大规模数据集的计算机科学研究中，人们经常会标注少量样本然后用机器学习进行扩增。不过在表现超过人类之后，未来我们或许可以更加信任来自 ChatGPT 的判断了。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。