Google发布了新的“屏幕阅读”AI——PaLM 2-S，具备自动生成数据功能，成功挑战多项理解任务记录
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
每个人想要的大模型，是真·智能的那种......这不，谷歌团队就做出来了一个强大的「读屏」AI。研究人员将其称为ScreenAI，是一种理解用户界面和信息图表的全新视觉语言模型。论文地址：https://arxiv.org/pdf/2402.04615.pdfScreenAI的核心是一种新的屏幕截图文本表示方法，可以识别UI元素的类型和位置。研究人员使用谷歌语言模型PaLM2-S生成了合成训练数据，这些数据被用来训练模型，以回答与屏幕信息、屏幕导航和屏幕内容摘要相关的问题。值得一提的是，这种方法为提高模型
每个人想要的大模型，是真·智能的那种......
这不，谷歌团队就做出来了一个强大的「读屏」AI。
研究人员将其称为ScreenAI，是一种理解用户界面和信息图表的全新视觉语言模型。
论文地址：https://arxiv.org/pdf/2402.04615.pdf
ScreenAI的核心是一种新的屏幕截图文本表示方法，可以识别UI元素的类型和位置。
研究人员使用谷歌语言模型PaLM 2-S生成了合成训练数据，这些数据被用来训练模型，以回答与屏幕信息、屏幕导航和屏幕内容摘要相关的问题。值得一提的是，这种方法为提高模型在处理屏幕相关任务时的表现提供了新的思路。
举个栗子，比如打开一音乐APP页面，可以询问「有几首歌时长少于30秒」？
ScreenAI便给出了简单的答案：1。
再比如命令ScreenAI打开菜单，就可以选中。
架构灵感来源——PaLI
图1中展示了ScreenAI模型架构。研究人员受到了PaLI系列模型架构（由一个多模态编码器块组成）的启发。
该编码器块包含一个类似ViT的视觉编码器和一个消费图像（consuming image）和文本输入的mT5语言编码器，后接一个自回归解码器。
输入图像通过视觉编码器转化为一系列嵌入，这些嵌入与输入文本嵌入结合，一起输入mT5语言编码器。
编码器的输出传递给解码器，生成文本输出。
这种泛化公式能够使用相同的模型架构，解决各种视觉和多模态任务。这些任务可以重新表述为文本+图像（输入）到文本（输出）的问题。
与文本输入相比，图像嵌入构成了多模态编码器输入长度的重要部分。
简而言之，该模型采用图像编码器和语言编码器提取图像与文本特征，将二者融合后输入解码器生成文本。
这种构建方式可以广泛适用于图像理解等多模态任务。
另外，研究人员还进一步扩展了PaLI的编码器-解码器架构，以接受各种图像分块模式。
原始的PaLI架构只接受固定网格模式的图像块来处理输入图像。然而，研究人员在屏幕相关领域遇到的数据，跨越了各种各样的分辨率和宽高比。
为了使单个模型能够适应所有屏幕形状，有必要使用一种适用于各种形状图像的分块策略。
为此，谷歌团队借鉴了Pix2Struct中引入的一种技术，允许根据输入图像形状和预定义的最大块数，生成任意网格形状的图像块，如图1所示。
这样能够适应各种格式和宽高比的输入图像，而无需对图像进行填充或拉伸以固定其形状，从而使模型更通用，能够同时处理移动设备（即纵向）和台式机（即横向）的图像格式。
模型配置
研究人员训练了3种不同大小的模型，包含670M、2B和5B参数。
对于670M和2B参数模型，研究人员从视觉编码器和编码器-解码器语言模型的预训练单峰检查点开始。
对于5B参数模型，从 PaLI-3的多模态预训练检查点开始，其中ViT与基于UL2的编码器-解码器语言模型一起训练。
表1中可以看到视觉和语言模型之间的参数分布情况。
自动数据生成
研究人员称，模型开发的预训练阶段很大程度上，取决于对庞大且多样化的数据集的访问。
然而手动标注广泛的数据集是不切实际的，因此谷歌团队的策略是——自动数据生成。
这种方法利用专门的小模型，每个模型都擅长高效且高精度地生成和标记数据。
与手动标注相比，这种自动化方法不仅高效且可扩展，而且还确保了一定程度的数据多样性和复杂性。
第一步是让模型全面了解文本元素、各种屏幕组件及其整体结构和层次结构。这种基础理解对于模型准确解释各种用户界面并与之交互的能力至关重要。
这里，研究人员通过爬虫应用程序和网页，从各种设备（包括台式机、移动设备和平板电脑）收集了大量屏幕截图。
然后，这些屏幕截图会使用详细的标签进行标注，这些标签描述了UI 元素、它们的空间关系以及其他描述性信息。
此外，为了给预训练数据注入更大的多样性，研究人员还利用语言模型的能力，特别是PaLM 2-S分两个阶段生成QA对。
首先生成之前描述的屏幕模式。随后，作者设计一个包含屏幕模式的提示，指导语言模型生成合成数据。
经过几次迭代后，可以确定一个有效生成所需任务的提示，如附录C所示。
为了评估这些生成响应的质量，研究人员对数据的一个子集进行了人工验证，以确保达到预定的质量要求。
该方法在图2中进行了描述，大大提升预训练数据集的深度与广度。
通过利用这些模型的自然语言处理能力，结合结构化的屏幕模式，便可以模拟各种用户交互和情景。
两组不同任务
接下来，研究人员为模型定义了两组不同的任务：一组初始的预训练任务和一组后续的微调任务。
这两组的区别主要在于两个方面：
- 真实数据的来源：对于微调任务，标记由人类评估者提供或验证。对于预训练任务，标记是使用自监督学习方法推断的或使用其他模型生成的。
- 数据集的大小：通常预训练任务包含大量的样本，因此，这些任务用于通过更扩展的一系列步骤来训练模型。
表2显示所有预训练任务的摘要。
在混合数据中，数据集按其大小按比例加权，每个任务允许的最大权重。
将多模态源纳入多任务训练中，从语言处理到视觉理解和网页内容分析，使模型能够有效处理不同的场景，并增强其整体多功能性和性能。
研究人员在微调期间使用各种任务和基准来估计模型的质量。表3总结了这些基准，包括现有的主要屏幕、信息图表和文档理解基准。
实验结果
图4显示了ScreenAI模型的性能，并将其与各种与屏幕和信息图形相关的任务上的最新SOT结果进行了比较。
可以看到，ScreenAI在不同任务上取得的领先性能。
在表4中，研究人员呈现了使用OCR数据的单任务微调结果。
对于QA任务，添加OCR可以提高性能（例如Complex ScreenQA、MPDocVQA和InfoVQA上高达4.5%）。
然而，使用OCR会稍微增加输入长度，从而导致整体训练速度更慢。它还需要在推理时获取OCR结果。
另外，研究人员使用以下模型规模进行了单任务实验：6.7亿参数、20亿参数和50亿参数。
在图4中可以观察到，对于所有任务，增加模型规模都可以改进性能，在最大规模下的改进还没有饱和。
对于需要更复杂的视觉文本和算术推理的任务（例如InfoVQA、ChartQA和Complex ScreenQA），20亿参数模型和50亿参数模型之间的改进明显大于6.7亿参数模型和20亿参数模型。
最后，图5显示了，对于长宽比>1.0的图像（横向模式图像），pix2struct分割策略明显优于固定网格分割。
对于纵向模式图像，趋势相反，但固定网格分割仅稍微好一些。
鉴于研究人员希望ScreenAI模型能够在不同长宽比的图像上使用，因此选择使用pix2struct分割策略。
谷歌研究人员表示，ScreenAI模型还需要在一些任务上进行更多研究，以缩小与GPT-4和Gemini等更大模型的差距。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。
Cubase 是 Steinberg 推出的数字音频工作站，提供 MIDI 编曲、多轨录音、音频编辑、虚拟乐器、效果处理、自动化、混音和母带输出工具。其 Pro、Artist 与 Elements 版本面向不同预算和制作规模，