谷歌推出Mirasol：30亿参数，将多模态理解扩展至长视频
11月16日消息，谷歌公司近日发布新闻稿，介绍了小型人工智能模型Mirasol，可以回答有关视频的问题并创造新的记录。AI模型目前很难处理不同的数据流，如果要让AI理解视频，需要整合视频、音频和文本等不同模态的信息，这大大增加了难度。谷歌和谷歌Deepmind的研究人员提出了新的方法，将多模态理解扩展到长视频领域。借助MirasolAI模型，该团队努力解决两个关键挑战：需要以高频采样同步视频和音频，但要异步处理标题和视频描述。视频和音频会生成大量数据，这会让模型的容量紧张。在Mirasol中，谷歌采用了合
11 月 16 日消息，谷歌公司近日发布新闻稿，介绍了小型人工智能模型 Mirasol，可以回答有关视频的问题并创造新的记录。
AI 模型目前很难处理不同的数据流，如果要让 AI 理解视频，需要整合视频、音频和文本等不同模态的信息，这大大增加了难度。
谷歌和谷歌 Deepmind 的研究人员提出了新的方法，将多模态理解扩展到长视频领域。
借助Mirasol AI模型，该团队努力解决两个关键挑战：
- 需要以高频采样同步视频和音频，但要异步处理标题和视频描述。
- 视频和音频会生成大量数据，这会让模型的容量紧张。
在Mirasol中，谷歌采用了合路器和自回归转换器模型
该模型组件将处理时间同步的视频和音频信号，然后将视频拆分成独立的片段
转换器处理每个片段，并学习每个片段之间的联系，然后使用另一个转换器处理上下文文本，这两个组件交换有关其各自输入的信息。
一个新的转换模块名为Combiner，能够从每个片段中提取通用表示，并通过降维来压缩数据。每个片段包含4到64帧，该模型目前拥有30亿个参数，能够处理128到512帧的视频
在测试中，Mirasol3B 在视频问题分析方面达到了新的基准，体积明显更小，并且可以处理更长的视频。通过使用带有内存的组合器变体，该团队能够进一步降低所需的计算能力18%
本站在此附上 Mirasol 的官方新闻稿，感兴趣的用户可以深入阅读。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
AirBuddy 3 是面向 macOS 的蓝牙外设增强工具，可集中查看 AirPods、Beats 与苹果设备电量，提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。
AirServer macOS版可把 Mac 转换为无线投屏接收端，通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面，并支持多设备同时连接、高清镜像及会话录制，适合家庭娱乐、课堂教学、会议演示和应用展示。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台，提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具，适合短剧、漫剧、广告及社交媒体内容制作。
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，