百度文心一言在国产模型中倒数？我看懵了
夕小瑶科技说原创作者|卖萌酱最近几天，我们公众号的社群在纷纷转发一张名为SuperClue评测的截图。科大讯飞甚至在官号进行了宣传：由于讯飞星火大模型刚发布，笔者玩的少，它是不是真的是国产最强这个笔者不敢下结论。但在该评测截图中，当下国产模型中热度最高的百度文心一言竟然连一个小型的学术开源模型ChatGLM-6B都打不过。这不仅与笔者自己的使用体验严重不符，而且在我们的专业NLP技术社群中，大家也纷纷表示一脸懵逼：好奇之下，笔者去这个superclue榜单的github，想看看这个测评结论是怎么得出来的：
夕小瑶科技说 原创
作者 | 卖萌酱最近几天，我们公众号的社群在纷纷转发一张名为SuperClue 评测的截图。科大讯飞甚至在官号进行了宣传：
由于讯飞星火大模型刚发布，笔者玩的少，它是不是真的是国产最强这个笔者不敢下结论。
但在该评测截图中，当下国产模型中热度最高的百度文心一言竟然连一个小型的学术开源模型ChatGLM-6B都打不过。这不仅与笔者自己的使用体验严重不符，而且在我们的专业NLP技术社群中，大家也纷纷表示一脸懵逼：
好奇之下，笔者去这个superclue榜单的github，想看看这个测评结论是怎么得出来的：https://github.com/CLUEbenchmark/SuperCLUE
首先笔者注意到这个repo下面已经有一些issue了：
看起来这个离谱的感觉不仅仅是笔者有，果然群众的眼睛还是雪亮的。。。
笔者进一步看了一下这个榜单的评测方式：
好家伙，原来所谓的生成式大模型的测试，竟然全都是让模型做选择题。。。
很明显这种做选择题的评测方式是针对BERT时代的判别式AI模型的，那时候的AI模型普遍不具备生成能力，仅仅有判别能力（比如能判别一段文本属于什么类别，选项中哪个是问题的正确答案，判断两段文本的语义是否一致等）。
而生成式模型的评测与判别式模型的评测有相当于大的差异。
例如，对于机器翻译这种特殊的生成任务而言，一般采用BLEU等评价指标来检测模型生成的回复与参考回复之间的“词汇、短语覆盖度”。但机器翻译这种有参考回复的生成类任务是极少数，绝大多数的生成类评测都要采用人工评测的方式。
例如闲聊式对话生成、文本风格迁移、篇章生成、标题生成、文本摘要等生成任务，都需要各个待评测模型去自由生成回复，然后人工去对比这些不同模型生成的回复的质量，或人工判断是否满足了任务需求。
当前这一轮的AI竞争，是模型生成能力的竞争，而不是模型判别能力的竞争。最有评价权的是真实的用户口碑，不再是一个个冰冷的学术榜单。更何况是一个压根没测模型生成能力的榜单。
回想起来前些年——
2019年，OpenAI发布了GPT-2的时候，我们在堆tricks刷榜；
2020年，OpenAI发布了GPT-3的时候，我们在堆tricks刷榜；
2021-2022年，FLAN、T0、InstructGPT等instruction tuning和RLHF工作爆发的时候，我们还有不少团队在坚持堆tricks刷榜…
希望这一波生成式模型的军备竞赛，我们不要再重蹈覆辙。
那么生成式AI模型到底应该怎么测？
很抱歉，我前面说过，如果想做到无偏测试，非常非常的难，甚至比你自研一个生成式模型出来难得多。难度有哪些？具体抛几个问题：
- 评测维度该如何划分？按理解、记忆、推理、表达？按专业领域？还是将传统的NLP生成式评测任务杂揉起来？
- 评测人员如何培训？对于写代码、debug、数学推导、金融法律医疗问答这种专业门槛极高的测试题，该如何招募人员测试？
- 主观性极高的测试题（如生成小红书风格的文案），该如何定义评测标准？
- 问几个泛泛的写作类问题就能代表一个模型的文本生成/写作能力了吗？
- 考察模型的文本生成子能力，篇章生成、问答生成、翻译、摘要、风格迁移都覆盖到了吗？各个任务的占比均匀吗？评判标准都清晰吗？统计显著吗？
- 在上面的问答生成子任务里，科学、医疗、汽车、母婴、金融、工程、政治、军事、娱乐等各个垂类都覆盖到了吗？占比均匀吗？
- 如何测评对话能力？对话的一致性、多样性、话题深度、人格化分别怎么设计的考察任务？
- 对于同一项能力测试，简单问题、中等难度问题和复杂长冷问题都覆盖到了吗？如何界定？分别占比多少？
这只是随手抛的几个要解决的基础问题，在实际基准设计的过程中，要面临大量比以上问题棘手得多的问题。
因此，作为AI从业者，笔者呼吁大家理性看待各类AI模型排名。连一个无偏的测试基准都没有出现，要这排名有何用？
还是那句话，一个生成式模型好不好，真实用户说了算。
一个模型在一个榜单的排名再高，它解决不好你在意的问题，它对你来说就是个一般般的模型。换言之，一个排名倒数的模型，如果在你关注的场景下发现非常强，那它对你来说就是个宝藏模型。
在此，笔者公开了我们团队内部富集和撰写的一个hard case（困难样例）测试集。这份测试集重点关注模型对困难问题/指令的解决能力。
这个困难测试集重点考察了模型的语言理解、复杂指令理解与遵循、文本生成、复杂内容生成、多轮对话、矛盾检测、常识推理、数学推理、反事实推理、危害信息识别、法律伦理意识、中国文学知识、跨语言能力和代码能力等。
再次强调一遍，这是笔者团队为测试生成式模型对困难样例解决能力而做的一个case集，评测结果只能代表“对笔者团队而言，哪个模型感觉更好”，远远不能代表一个无偏的测试结论，如果想要无偏的测试结论，请先解答以上提到的测评问题，再去定义权威测试基准。
想要自己评测验证的小伙伴，可以在本公众号“夕小瑶科技说”后台回复【AI评测】口令来下载测试文件
以下是在superclue榜单中受争议最大的讯飞星火、文心一言与ChatGPT这三个模型的测评结果：
困难Case解决率：
- ChatGPT（GPT-3.5-turbo）：11/24=45.83%
- 文心一言（2023.5.10版本）：13/24=54.16%
- 讯飞星火（2023.5.10版本）：7/24=29.16%
这是要论证讯飞星火不如文心一言吗？如果你仔细看前文了，就明白笔者想说什么。
确实，尽管在这份我们内部的困难case集上，星火模型不如文心一言，但这不能说明综合起来谁一定比谁强，仅仅说明，在我们团队内部的困难case测试集上，文心一言表现最强，甚至比ChatGPT多解决了2个困难case。
对于简单问题而言，其实国产模型跟ChatGPT已经没有太大差距。而对于困难问题而言，各个模型各有所长。就笔者团队的综合使用体验来看，文心一言完全足以吊打ChatGLM-6B等学术测试性质的开源模型，部分能力上不如ChatGPT，部分能力上又超越了ChatGPT。
阿里通义千问、讯飞星火等其他大厂出品的国产模型也是相同的道理。
还是那句话，如今连一个无偏的测试基准都没出现，你要那模型排名有啥用？
比起争论各类有偏的榜单排名，不如像笔者团队一样去做一个自己关心的测试集。
能解决你问题的模型，就是好模型。
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，