超级智能体生命力觉醒！可自我更新的AI来了，妈妈再也不用担心数据瓶颈难题
哭死啊，全球狂炼大模型，一互联网的数据不够用，根本不够用。训练模型搞得跟《饥饿游戏》似的，全球AI研究者，都在苦恼怎么才能喂饱这群数据大胃王。尤其在多模态任务中，这一问题尤为突出。一筹莫展之际，来自人大系的初创团队，用自家的新模型，率先在国内把“模型生成数据自己喂自己”变成了现实。而且还是理解侧和生成侧双管齐下，两侧都能生成高质量、多模态的新数据，对模型本身进行数据反哺。模型是啥？中关村论坛上刚刚露面的多模态大模型Awaker1.0。团队是谁？智子引擎。由人大高瓴人工智能学院博士生高一钊创立，高瓴人工智能
哭死啊，全球狂炼大模型，一互联网的数据不够用，根本不够用。
训练模型搞得跟《饥饿游戏》似的，全球AI研究者，都在苦恼怎么才能喂饱这群数据大胃王。
尤其在多模态任务中，这一问题尤为突出。
一筹莫展之际，来自人大系的初创团队，用自家的新模型，率先在国内把“模型生成数据自己喂自己”变成了现实。
而且还是理解侧和生成侧双管齐下，两侧都能生成高质量、多模态的新数据，对模型本身进行数据反哺。
模型是啥？
中关村论坛上刚刚露面的多模态大模型Awaker 1.0。
团队是谁？
智子引擎。由人大高瓴人工智能学院博士生高一钊创立，高瓴人工智能学院卢志武教授担任顾问。公司成立时还是2021年，就早早打入多模态这条“无人区”赛道。
MOE架构，解决多模态多任务训练冲突问题
这不是智子引擎第一次发布模型。
去年3月8日，潜心研发两年的团队对外发布了自研的第一个多模态模型，百亿级别参数的ChatImg序列模型，并基于此推出世界首个公开评测多模态对话应用ChatImg（元乘象）。
后来，ChatImg不断迭代，新模型Awaker的研发也在并行推进。后者还继承了前代模型的基础能力。
相较于前代的ChatImg序列模型，Awaker 1.0采用了MoE模型架构。
要说原因嘛，是想要解决解决多模态多任务训练存在严重冲突的问题。
采用MoE模型架构，可以更好地学习多模态通用能力以及各个任务所需的独特能力，从而让整个Awaker 1.0的能力在多个任务上有进一步提升。
数据胜千言：
鉴于主流多模态评测榜单存在评测数据泄露问题，智子团队从严构建了自有评测集，大部分测试图片来自个人手机相册。
表格显示，团队让Awaker 1.0和国内外最先进的3个多模态大模型进行了评测。
多提一嘴，由于GPT-4V和Intern-VL并不直接支持检测任务，它们的检测结果是通过要求模型使用语言描述物体方位得到的。
可以看到，在视觉问答和业务应用任务上，Awaker 1.0的基座模型超过了GPT-4V、Qwen-VL-Max和Intern-VL。
在描述、推理和检测任务上，Awaker 1.0的基座模型达到了次好效果。
最后来看平均分，Awaker 1.0处于几者中的最高值。
因此，上述结果也印证了多任务多模态模型采用MoE架构的有效性。
数据集评测结果有了，真实效果还需进一步上手体验。
这里主要问了它和对比大模型一些关于中文OCR（图片文字识别）和计数问题、详细描述任务等问题。
这个主要考计数：
Awaker 1.0能正确地给出答案，而其它三个模型均回答错误。
这个主要考中文OCR：
正确回答的选手是Qwen-VL-Max和Awaker 1.0。
最后这题考图片内容理解。
GPT-4V和Awaker 1.0不但能够详细地描述图片的内容，而且能够准确地识别出图片中的细节，如图中展示的可口可乐。
不得不提一嘴的是，Awaker 1.0继承了一些智子团队此前广为关注的研究成果。
说的就是你——Awaker 1.0的生成侧。
Awaker 1.0的生成侧，是智子引擎自主研发的类Sora视频生成底座VDT（Video Diffusion Transformer）。
VDT的学术论文早于OpenAI Sora的发布（去年5月），并已被顶会ICLR 2024接收。
VDT与众不同的创新之处，主要有两点。
一是在技术架构上采用Diffusion Transformer，在OpenAI之前就展现了Transformer在视频生成领域的巨大潜力。
它的优势在于其出色的时间依赖性捕获能力，能够生成时间上连贯的视频帧，包括模拟三维对象随时间的物理动态。
二是提出统一的时空掩码建模机制，使VDT能够处理多种视频生成任务。
VDT灵活的条件信息处理方式，如简单的token空间拼接，有效地统一了不同长度和模态的信息。
同时，通过与该工作提出的时空掩码建模机制结合，VDT成为了一个通用的视频扩散工具，在不修改模型结构的情况下可以应用于无条件生成、视频后续帧预测、插帧、图生视频、视频画面补全等多种视频生成任务。
据了解，智子引擎团队不仅探索了VDT对简单物理规律的模拟，发现它能模拟物理过程：
还在超写实人像视频生成任务上进行了深度探索。
因为肉眼对人脸及人的动态变化非常敏感，所以这个任务对视频生成质量的要求非常高。不过，智子引擎已经突破超写实人像视频生成的大部分关键技术，比起Sora也没在怕的。
口说无凭。
这是智子引擎结合VDT和可控生成，对人像视频生成质量提升后的效果：
据悉，智子引擎还将继续优化人物可控的生成算法，并积极进行商业化探索。
生成源源不断的新交互数据
更值得关注的是，智子引擎团队强调：
Awaker 1.0是世界上首个能自主更新的多模态大模型。
换句话说，Awaker 1.0是“活”的，它的参数可以实时持续地更新——这就导致Awaker 1.0区别于所有其它多模态大模型，
Awaker 1.0的自主更新机制，包含三大关键技术，分别是：
- 数据主动生成
- 模型反思评估
- 模型连续更新
这三项技术，让Awaker 1.0具备自主学习、自动反思和自主更新的能力，可以在这个世界自由探索，甚至与人类互动。
基于此，Awaker 1.0在理解侧和生成侧都能生成源源不断的新交互数据。
怎么做到的？
在理解侧，Awaker 1.0与数字世界和现实世界进行交互。
在执行任务的过程中，Awaker 1.0将场景行为数据反哺给模型，以实现持续更新与训练。
在生成侧，Awaker 1.0可以进行高质量的多模态内容生成，为理解侧模型提供更多的训练数据。
在理解侧和生成侧的两个循环中，Awaker 1.0实际实现了将视觉理解与视觉生成进行融合。
要知道，Sora问世后，越来越多声音表示，要通往AGI，必须达成“理解和生成的大一统”。
以新知识注入为例，下面来看个具体跑通的例子。
Awaker 1.0能够不断在互联网上学习实时新闻信息，同时，它结合新学习到的新闻信息来回答各种复杂问题。
这和目前两种主流，即RAG和传统长上下文方式还不太一样，Awaker 1.0是真的把新知识“记忆”在自个儿模型的参数上。
可以看到，连续3天的自我更新过程中，Awaker 1.0每天都能学习当天的新闻信息，并在描述中准确地说出对应信息。
而且虽然一直在学，Awaker 1.0倒没有顾此失彼，它并不会很快地遗忘学过的知识。
譬如，4月16日学进去的智界S7相关知识，在2天后仍然被Awaker 1.0记住或理解。
So，在这个数据如金的时代，别再哀叹“数据不够用”了。
面对数据瓶颈的团队们，一种可行、可用的新选择，不就被Awaker 1.0送来了？
具身智能“活”的大脑
话说回来，正是由于实现了视觉理解与视觉生成的融合，当遇到“多模态大模型适配具身智能”的问题，Awaker 1.0的骄傲已经显露无疑。
事情是这样的：
Awaker 1.0这类多模态大模型，其具有的视觉理解能力可以天然与具身智能的“眼睛”相结合。
而且主流声音也认为，“多模态大模型+具身智能”有可能大幅地提升具身智能的适应性和创造性，甚至是实现AGI的可行路径。
理由不外乎两点。
第一，人们期望具身智能拥有适应性，即智能体能够通过持续学习来适应不断变化的应用环境。
这样一来，具身智能既能在已知多模态任务上越做越好，也能快速适应未知的多模态任务。
第二，人们还期望具身智能具有真正的创造性，希望它通过对环境的自主探索，能够发现新的策略和解决方案，并探索AI的能力边界。
但是二者的适配，并不是简简单单把多模态大模型链接个身体，或直接给具身智能装个脑子那么简单。
就拿多模态大模型来说，至少有两个明显的问题摆在面前。
一是模型的迭代更新周期长，需要大量的人力投入；
二是模型的训练数据都源自已有的数据，模型不能持续获得大量的新知识。虽然通过RAG和扩长上下文窗口也可以注入持续出现的新知识，模型记不住，补救方式还会带来额外的问题。
总之，目前的多模态大模型在实际应用场景中不具备很强的适应性，更不具备创造性，导致在行业落地时总是出现各种各样的困难。
妙啊——还记得我们前面提到，Awaker 1.0不仅可以学新知识，还能记住新知识，并且这种学习是每天的、持续的、及时的。
从这张框架图可以看出，Awaker 1.0能够与各种智能设备结合，通过智能设备观察世界，产生动作意图，并自动构建指令控制智能设备完成各种动作。
在完成各种动作后，智能设备会自动产生各种反馈，Awaker 1.0能够从这些动作和反馈中获取有效的训练数据进行持续的自我更新，不断强化模型的各种能力。
这就相当于具身智能拥有一个活的大脑了。
谁看了不说一句how pay（狗头）～
尤其重要的是，因为具备自主更新能力，Awaker 1.0不单单是可以和具身智能适配，它还适用于更广泛的行业场景，能够解决更复杂的实际任务。
例如，Awaker 1.0与各种智能设备结合，从而实现云边协同。
这时候，Awaker 1.0就是部署在云端的“大脑”，观察、指挥，控制各种边端智能设备执行各项任务。
而边端智能设备执行各项任务时获得的反馈，又会源源不断地传回给Awaker 1.0，让它持续地获得训练数据，不断进行自我更新。
这可不是纸上谈兵，Awaker 1.0与智能设备的云边协同的技术路线，已经应用在电网智能巡检、智慧城市等应用场景中，并取得了远好于传统小模型的识别效果。
多模态大模型能听、能看、能说，在语音识别、图像处理、自然语言理解等多个领域展现出了巨大的潜力和应用价值，几乎无所不能。
但它的烦恼很明显，如何不断吸收新知识、适应新变化？
可以说，修炼内功、提升武艺成为了多模态大模型面临的一个重要课题。
智子引擎Awaker 1.0的问世，为多模态大模型的自我超越提供了一把钥匙。
它好像会了那个吸星大法，通过自主更新机制，打破了数据短缺的瓶颈，为多模态大模型的持续学习和自我进化提供了可能；再就是利用云边协同技术，勇闯在具身智能等智能体设备的具体应用场景。
这或许是迈向AGI的一小步，但同时也是多模态大模型自我超越之旅的一个开始。
漫长而艰难的旅程，需要智子引擎这样的团队，向技术的高峰不断攀登。
Adobe Acrobat Pro 是面向办公、法务、财务、教育及出版用户的专业PDF处理软件，可在Mac上创建、编辑、转换、合并和保护文档，并提供OCR文字识别、表单、批注、内容比较、敏感信息遮盖及电子签名功能。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Affinity Designer 的矢量设计能力现已整合进 Affinity by Canva，可在 Mac 上进行标志、图标、插画、界面原型及印刷品设计。个人用户使用免费 Canva 账户即可使用完整的矢量、像素和版面工具。
Archicad是Graphisoft推出的建筑信息模型设计软件，可在Mac上完成概念设计、参数化建模、图纸编制、工程量统计、渲染展示及团队协同。模型与平立剖面、明细表和布局保持关联，适合建筑师、室内设计师、BIM团队及相关专业学生使用。
AutoCAD LT是Autodesk推出的专业二维CAD设计与文档编制软件，Mac版本提供原生界面、多点触控及分屏查看体验。用户可精确创建和编辑DWG图形，完成图层管理、尺寸标注、表格、PDF参考、外部参照及打印输出。
AutoCAD for Mac 是 Autodesk 面向 macOS 提供的专业计算机辅助设计软件，支持精确的二维绘图、标注、布局输出以及实体、曲面和网格建模。软件采用适配 Mac 操作习惯的界面，可处理 DWG 图纸。
Autodesk Fusion 是面向产品设计与制造的一体化云连接平台，在 Mac 上提供参数化建模、自由曲面、装配、工程图、仿真、PCB 设计和 CAM 加工等工具。它适合机械工程师、工业设计师、创客及制造团队使用。
Autodesk Maya是一套面向影视动画、游戏开发和视觉特效制作的专业三维创作软件，集多边形与曲面建模、角色绑定、关键帧动画、动力学模拟、程序化特效及Arnold渲染于一体，并提供脚本、插件和开放式制作管线支持。
Blender是一款免费开源的综合三维创作软件，可在Mac上完成建模、数字雕刻、材质制作、角色绑定、动画、物理模拟、渲染、合成及视频剪辑。软件提供Cycles与Eevee渲染工具，并支持几何节点、蜡笔绘制和Python扩展。
AutoCAD 是 Autodesk 推出的专业计算机辅助设计软件，Windows 版支持精确二维绘图、三维实体与曲面建模、图纸标注、布局发布和任务自动化，并包含多套行业专业化工具组合，适用于建筑、机械、电气、工程建设及制造设计人员。
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Cinema 4D是Maxon推出的专业三维创作软件，将建模、动画、MoGraph动态图形、粒子与动力学模拟、材质灯光及Redshift渲染整合在统一工作环境中，适用于广告包装、影视特效、产品和建筑可视化、游戏素材等制作场景。
Blender 是免费开源的三维创作套件，在 Windows 上提供建模、雕刻、材质、动画、物理模拟、合成、跟踪、视频剪辑及 Cycles、EEVEE 渲染工具。它适合个人创作者、学生和小型工作室，
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，
SketchUp Pro 是面向建筑、室内、景观、施工和产品设计等专业场景的三维建模工具，提供桌面建模、LayOut 二维文档、模型资源库、扩展程序及云端协作能力。其操作逻辑直观，适合从概念推敲、空间规划到图纸表达和方案汇报的完整工作流程。