谷歌这一“大招”，要逼死多少AI标注公司？
手工小作坊，终究敌不过工厂流水线。如果说，当下的生成式AI，是一个正在茁壮成长的孩子，那么源源不断的数据，就是其喂养其生长的食物。数据标注是制作这一“食物”的过程然而，这一过程真的很卷，很累人。进行标注的“标注师”不仅需要反复地识别出图像中的各种物体、颜色、形状等，有时候甚至需要对数据进行清洗和预处理。随着人工智能技术的不断进步，人工数据标注的局限性也越来越明显。人工数据标注不仅耗费时间和精力，而且有时难以保证质量为了解决这些问题，谷歌最近提出了一种名为AI反馈强化学习（RLAIF）的方法，通过使用大型模
手工小作坊，终究敌不过工厂流水线。
如果说，当下的生成式AI，是一个正在茁壮成长的孩子，那么源源不断的数据，就是其喂养其生长的食物。
数据标注是制作这一“食物”的过程
然而，这一过程真的很卷，很累人。
进行标注的“标注师”不仅需要反复地识别出图像中的各种物体、颜色、形状等，有时候甚至需要对数据进行清洗和预处理。
随着人工智能技术的不断进步，人工数据标注的局限性也越来越明显。人工数据标注不仅耗费时间和精力，而且有时难以保证质量
为了解决这些问题，谷歌最近提出了一种名为AI反馈强化学习（RLAIF）的方法，通过使用大型模型代替人类进行偏好标注
研究结果显示，RLAIF能够在没有依赖人类标注的情况下，达到与人类反馈强化学习（RLHF）相当的改进效果，两者的胜率都是50%。此外，研究还发现，RLAIF和RLHF相比于监督微调（SFT）的基线策略都更优越
这些结果表明，RLAIF不需要依赖于人工标注，是RLHF的可行替代方案。
如果这项技术将来真的被广泛推广和普及，那么依赖人工“拉框”进行数据标注的许多企业是否将面临绝境？
01 数据标注现状
如果要简单地总结目前国内标注行业的现状，那就是：劳动量大，但效率却不太高，属于费力不讨好的状态。
标注企业被称为AI领域的数据工厂，通常集中在东南亚、非洲或是中国的河南、山西、山东等人力资源丰富的地区。
为了降低成本，标注公司的老板们会在县城租一块场地，放置电脑设备。一旦有订单，他们就会在附近招募兼职人员来处理，如果没有订单，就会解散休息
简单来说，这个工种有点类似马路边上的临时装修工。
在工位上，系统会随机给“标注师”一组数据，一般包含几个问题和几个回答。
之后，“标注师”需要先标注出这个问题属于什么类型，随后给这些回答分别打分并排序。
此前，人们在谈论国产大模型与GPT-4等先进大模型的差距时，总结出了国内数据质量不高的原因。
为什么数据质量不高？其中一部分原因在于数据标注的“流水线”
目前，中文大模型的数据来源是两类，一类是开源的数据集；一类是通过爬虫爬来的中文互联网数据。
中文大模型表现不够好的主要原因之一就是互联网数据质量，比如，专业人士在查找资料的时候一般不会用百度。
因此，在面对一些较为专业、垂直的数据问题，例如医疗、金融等，就要与专业团队合作。
可这时，问题又来了：对于专业团队来说，在数据方面不仅回报周期长，而且先行者很有可能会吃亏。
例如，某家标注团队花了很多钱和时间，做了很多数据，别人可能花很少的钱就可以直接打包买走。
面对这种“搭便车困境”，国内许多大型模型都陷入了数据虽然众多，但质量却不高的奇怪境地
既然如此，那目前国外一些较为领先的AI企业，如OpenAI，他们是怎么解决这一问题的？
OpenAI在数据标注方面并没有放弃使用廉价的密集劳动来降低成本
例如，此前就曝出其曾以2美元/小时的价格，雇佣了大量肯尼亚劳工进行有毒信息的标注工作。
然而，重要的区别在于如何解决数据质量和标注效率的问题
具体来说，OpenAI在这方面，与国内企业最大的不同，就在于如何降低人工标注的“主观性”、“不稳定性”的影响。
02 OpenAI的方法 重新撰写内容时，需要将语言改写为中文，不需要出现原始句子
为了降低这样人类标注员的“主观性”和“不稳定性”，OpenAI大致采用了两个主要的策略：
1、人工反馈与强化学习相结合；
在重新写作时，需要将原始内容转换为中文。以下是重新写作后的内容： 首先，让我们谈谈标注方式。OpenAI的人工反馈与国内最大的区别在于，它主要是对智能系统的行为进行排序或评分，而不是对其输出进行修改或标注
智能系统的行为是指在复杂环境中，根据自身目标和策略，智能系统所采取的一系列动作或决策
比如玩游戏、操控机器人、与人对话等
智能系统的输出，则是指在一个简单的任务中，根据输入的数据，生成一个结果或回答，例如写一篇文章、画一幅画。
普遍而言，智能系统的行为往往难以用“正确”或“错误”来判断，而更需要用偏好或满意度来评价
这种以“偏好”或“满意度”为标准的评价体系，不需要修改或标注具体的内容，因此减少了人类主观性、知识水平等因素对数据标注质量和准确性的影响
诚然，国内企业在进行标注时，也会使用类似“排序”、“打分”的体系，但由于缺乏OpenAI那样的“奖励模型”作为奖励函数来优化智能系统的策略，这样的“排序”和“打分”，本质上仍然是一种对输出进行修改或标注的方法。
2、多样化、大规模的数据来源渠道；
国内的数据标注来源主要是第三方标注公司或科技公司自建团队，这些团队多为本科生组成，缺乏足够的专业性和经验，难以提供高质量和高效率的反馈。
相比之下，OpenAI的人工反馈是通过多个渠道和团队获得的
OpenAI与多家数据公司和机构合作，例如Scale AI、Appen、Lionbridge AI等，不仅使用开源数据集和互联网爬虫来获取数据，还致力于获取更多样化和高质量的数据
这些数据公司和机构的标注手段与国内的同行相比，更加“自动化”和“智能化”
例如，Scale AI使用了一种称为 Snorkel的技术，它是一种基于弱监督学习的数据标注方法，可以从多个不精确的数据源中生成高质量的标签。
同时，Snorkel还可以利用规则、模型、知识库等多种信号来为数据添加标签，而不需要人工直接标注每个数据点。这样可以大大减少人工标注的成本和时间。
在数据标注成本降低、周期缩短的情况下，这些具备竞争优势的数据公司可以选择高价值、高难度、高门槛的细分领域，如自动驾驶、大语言模型、合成数据等，以不断提升自身的核心竞争力和差异化优势
如此一来，“先行者会吃亏”的搭便车困境，也被强大的技术和行业壁垒给消弭了。
标准化与小作坊的对比
由此可见，AI自动标注技术，真正淘汰的只是那些还在使用纯人工的标注公司。
尽管数据标注听上去是一个“劳动密集型”产业，但是一旦深入细节，便会发现，追求高质量的数据并不是一件容易的事。
以海外数据标注的独角兽Scale AI为代表，Scale AI不仅仅在使用非洲等地的廉价人力资源，同样还招聘了数十名博士，来应对各行业的专业数据。
Scale AI为OpenAI等大型模型企业提供的最大价值在于数据标注的质量
而要想最大程度地保障数据质量，除了前面提到的使用AI辅助标注外，Scale AI的另一大创新，就是了一个统一的数据平台。
这些平台，包括了Scale Audit、Scale Analytics、ScaleData Quality 等。通过这些平台，客户可以监控和分析标注过程中的各种指标，并对标注数据进行校验和优化，评估标注的准确性、一致性和完整性。
可以说，这样标准化、统一化的工具与流程，成为了区分标注企业中“流水线工厂”和“手工小作坊”的关键因素。
在这方面，目前国内大部分的标注企业，都仍在使用“人工审核”的方式来审核数据标注的质量，只有百度等少数巨头引入了较为先进的管理和评估工具，如EasyData智能数据服务平台。
如果没有专门的工具来监控和分析标注结果和指标，那么在关键的数据审核方面，对数据质量的把关就只能依赖于人工的经验，这种方式仍然只能达到作坊式水准
因此，越来越多的中国企业，如百度、龙猫数据等，开始使用机器学习和人工智能技术，以提高数据标注的效率和质量，实现人机协作的模式
从这个角度来看，人工智能标注的出现并不意味着国内标注企业的末日，而只是传统的低效、廉价、缺乏技术含量的劳动密集型标注方式的末日
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，