「知识型图像问答」微调也没用？谷歌发布搜索系统AVIS：少样本超越有监督PALI，准确率提升三倍
在大型语言模型（LLM）的支持下，与视觉结合的多模态任务，例如图像描述、视觉问答（VQA）和开放词汇目标识别（open-vocabularyobjectdetection）等方面都取得了显著的进展不过目前视觉语言模型（VLM）基本都只是利用图像内的视觉信息来完成任务，在inforseek和OK-VQA等需要外部知识辅助问答的数据集上往往表现不佳。最近谷歌发表了一个全新的自主视觉信息搜索方法AVIS，利用大型语言模型（LLM）来动态地制定外部工具的使用策略，包括调用API、分析输出结果、决策等操作为图像问答
在大型语言模型（LLM）的支持下，与视觉结合的多模态任务，例如图像描述、视觉问答（VQA）和开放词汇目标识别（open-vocabulary object detection）等方面都取得了显著的进展
不过目前视觉语言模型（VLM）基本都只是利用图像内的视觉信息来完成任务，在inforseek和OK-VQA等需要外部知识辅助问答的数据集上往往表现不佳。
最近谷歌发表了一个全新的自主视觉信息搜索方法AVIS，利用大型语言模型（LLM）来动态地制定外部工具的使用策略，包括调用API、分析输出结果、决策等操作为图像问答提供关键知识。
请点击以下链接阅读论文：https://arxiv.org/pdf/2306.08129.pdf
AVIS主要整合了三种类型的工具：
1. 从图像中提取视觉信息的工具
2. 检索开放世界知识和事实的网络搜索工具
3. 图像搜索工具，可用于检索视觉上相似的图像
然后使用基于大型语言模型的规划器在每个步骤中选择一个工具和查询结果，动态地生成问题答案。
模拟人类决策
Infoseek和OK-VQA数据集中的许多视觉问题甚至对人类来说都相当难，通常需要各种外部工具的辅助，所以研究人员选择先进行一项用户调研，观察人类在解决复杂视觉问题时的解决方案。
首先，我们会为用户提供一套可用的工具集，其中包括PALI、PALM和网络搜索。接下来，我们会展示输入图像、问题、检测到的物体裁剪图、图像搜索结果的链接知识图谱实体、相似的图像标题、相关的产品标题以及图像描述
接着，研究人员会记录用户的操作和输出，并采用两种方式来引导系统做出回答：
1. 通过分析用户做出的决策序列来构建转换图，其中包含不同的状态，每个状态下的可用操作集都不同。
重写内容：AVIS转换图 重新设计的AVIS转换图是一个图形化的表示，用于展示AVIS的转换过程。这个图表清晰地展示了AVIS的各个阶段和步骤，并且以易于理解的方式呈现给用户。通过这个转换图，用户可以更好地了解AVIS的工作原理和操作流程。这个图表的设计简洁明了，使得用户能够快速地掌握AVIS的转换过程。无论是初学者还是有经验的用户，都可以通过这个AVIS转换图轻松地理解和应用转换过程
例如在开始状态下，系统只能执行三个操作：PALI描述、PALI VQA或目标检测。
为了提高系统的性能和有效性，可以使用人类决策的样例来引导规划器和推理器与相关的上下文实例进行交互
总体框架
AVIS方法采用了一种动态的决策策略，旨在对视觉信息的查询做出响应
该系统包含三个主要组成部分：
需要重新写的内容是：1. 规划器（planner），用于确定后续操作，包括适当的API调用和需要处理的查询
2. 运行记忆（working memory）工作内存，保留了从API执行中获得的结果信息。
3. 推理器（reasoner）用于处理API调用的输出，可以判断所获得的信息是否足以生成最终响应，或者是否需要进行额外的数据检索
每次需要决定使用哪个工具以及向系统发送哪些查询时，规划器都会执行一系列操作；根据当前的状态，规划器还会提供潜在的后续动作
为了解决由于潜在的动作空间可能过多，导致搜索空间过大的问题，规划器需要参考转换图来消除不相关的动作，排除之前已经采取并存储在工作记忆中的动作。
然后由规划器从用户研究数据中组装出一套上下文示例，结合之前工具交互的记录，由规划器制定提示后输入到语言模型中，LLM再返回一个结构化的答案，确定要激活的下一个工具以及派发的查询。
可以通过多次调用规划器来推动动态决策，并逐步生成答案的整个设计流程
研究人员使用推理器来分析工具执行的输出，提取有用的信息，并决定工具输出的类别：提供信息的、不提供信息的或最终答案
如果推理器返回结果是「提供答案」，则直接输出作为最终结果，结束任务；如果结果是无信息，则退回规划器，并基于当前状态选择另一个动作；如果推理器认为工具输出是有用的，则修改状态并将控制权转移回规划器，以在新状态下做出新的决定。
AVIS采用动态决策策略来响应视觉信息搜索查询
实验结果
需要重写的内容是：工具集合
使用PALI 17B模型，图像描述模型可以为输入图像和检测到的物体裁剪图像生成描述
视觉问题回答模型，使用 PALI 17B VQA 模型，将图像和问题作为输入，并将基于文本的答案作为输出。
物体检测，使用在Open Images数据集的超集上训练的物体检测器，具体类别Google Lens API提供；使用高置信度阈值，只保留 输入图像中排名靠前的检测框。
使用Google图像搜索来获取与检测到的方框相关的图像裁剪信息
在进行决策时，规划器将每条信息的利用都视为一项单独的操作，因为每条信息可能包含数百个token，需要进行复杂的处理和推理。
在某些情况下，图像可能包含文字内容，例如街道名称或品牌名称。您可以使用Google Lens API中的光学字符识别（OCR）功能来提取这些文本
通过使用谷歌搜索API进行网络搜索，可以输入文本查询，并获得相关文档链接和片段的输出结果，同时还可以提供一个知识图谱面板，其中包含直接答案，以及最多五个与输入查询相关的问题
实验结果
研究人员在Infoseek和OK-VQA数据集上对AVIS框架进行了评估，从结果中可以看到，即使是健壮性非常好的视觉语言模型，如OFA和PALI模型，在Infoseek数据集上进行微调后也无法获得高准确性。
在没有进行微调的情况下，AVIS方法成功达到了50.7%的准确率
在OK-VQA数据集上，AVIS系统在few-shot设置下实现了60.2%的准确率，仅次于微调后的PALI模型。
OK-VQA中的大多数问答示例依赖于常识知识而非细粒度知识，因此性能上的差异可能是由于这一点。PALI能够利用在模型参数中编码的通用知识，而无需依赖外部知识的辅助
AVIS的一个关键特性是能够动态地做出决策，而非执行固定的序列，从上面的样例中可以看出AVIS在不同阶段使用不同工具的灵活性。
值得注意的是，文中推理器设计使AVIS能够识别不相关的信息，回溯到以前的状态，并重复搜索。
例如，在关于真菌分类学的第二个例子中，AVIS最初通过选择叶子对象做出了错误的决定；推理器发现与问题无关后，促使AVIS重新规划，然后成功地选择了与假火鸡尾真菌有关的对象，从而得出了正确的答案，Stereum
结论
研究人员提出了一种新的方法AVIS，将LLM作为装配中心，使用各种外部工具来回答知识密集型的视觉问题。
在这种方法中，研究人员选择使用从用户研究中收集的人类决策数据作为锚定点，采用结构化的框架，并使用基于LLM的规划器来动态决定工具选择和查询形成
LLM驱动的推理器可以从所选工具的输出中处理和提取关键信息，通过迭代地使用规划器和推理器来选择不同的工具，直到收集到回答视觉问题所需的所有必要信息
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。