豆包大模型披露评测成绩，较上一代“云雀”提升19%
近日，豆包大模型在火山引擎原动力大会上正式发布。以超低价格促销大模型降价潮的同时，豆包的模型能力也引发行业关注。在火山引擎的一份产品资料中，豆包模型团队发布了一期内部部分测试结果：在MMLU、BBH、GSM8K、HumanEval等11个行业主流的公开评测集上，Doubao-pro-4k的总分为76.8分，相比上一代模型云雀Skylark2的64.5分提升了19%。这也优于同期测试的其他国产模型。此次评测在今年5月完成，主要包括豆包括通用模型Pro、云雀Skylark2以及内的九款国产大语言模型。除了云雀
近日，豆包大模型在火山引擎原动力大会上正式发布。以超低价格促销大模型降价潮的同时，豆包的模型能力也引发行业关注。
在火山引擎的一份产品资料中，豆包模型团队发布了一期内部部分测试结果：在 MMLU、BBH、GSM8K、HumanEval 等11个行业主流的公开评测集上，Doubao-pro-4k 的总分为76.8分，相比上一代模型云雀Skylark2 的64.5分提升了19%。这也优于同期测试的其他国产模型。
此次评测在今年5月完成，主要包括豆包括通用模型Pro、云雀Skylark2以及内的九款国产大语言模型。除了云雀Skylark2以外，其他模型均为各家厂商最新发布的高级版本，通过API调用进行测试。
图：豆包模型团队内部测试结果
根据评测结果显示，在评估代码能力的两个评测集"HumanEval"和"MBPP"上，豆包相比上一代模型提升了50%左右；在专业知识和指令遵循的评测集上，豆包分别获得33%和24%的性能提升，同时也是得分最高的国产模型。
除了数学能力、语言理解能力，以及综合评测集BCMMLU和CEval的评测上也有不错的表现。得分排在前三。综合11个公开评测集上的测试成绩，豆包通用模型-pro的总分为76.8分。根据OpenAI公布的测试成绩，GPT-4在这些评测集上的总分为80.1分，相比国产模型仍有一定领先优势。
据悉，豆包模型于5月15日刚刚推出，尚未加入到第三方机构测试中。预计未来一到两个月内，很多第三方评测机构将会陆续披露该模型的评测结果。与模型同名的AI助手"豆包"，官方公布的月活用户数已经达到2600万，用户可以自由体验测试。
此前，智源研究院公布了覆盖全球91个语言模型的评测报告。在偏重考察中文能力的主观评测中，云雀Skylark2排名第一，中文能力超过GPT-4。
图：智源研究院语言模型评测结果（模型为4月20日之前的版本）
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
AirBuddy 3 是面向 macOS 的蓝牙外设增强工具，可集中查看 AirPods、Beats 与苹果设备电量，提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。
AirServer macOS版可把 Mac 转换为无线投屏接收端，通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面，并支持多设备同时连接、高清镜像及会话录制，适合家庭娱乐、课堂教学、会议演示和应用展示。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台，提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具，适合短剧、漫剧、广告及社交媒体内容制作。
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，