Prompt都不需要了，动动手就能玩多模态对话系统，iChat来啦！
夕小瑶科技说原创作者|智商掉了一地近日有很多团队基于用户友好的ChatGPT进行再创作，其中不乏有比较亮眼的成果。InternChat工作强调了用户友好性，这是通过超越语言的方式（光标与手势）与聊天机器人交互来进行多模态任务的。InternChat的命名也比较有趣，代表着互动（interaction）、非语言（nonverbal）和聊天机器人（chatbots），可以简称为iChat。与现有依赖纯语言的交互系统不同，iChat通过加入指向指令，显著提高用户与聊天机器人之间的交流效率。此外，作者还提供了一个
夕小瑶科技说 原创
作者 | 智商掉了一地
近日有很多团队基于用户友好的 ChatGPT 进行再创作，其中不乏有比较亮眼的成果。InternChat工作强调了用户友好性，这是通过超越语言的方式（光标与手势）与聊天机器人交互来进行多模态任务的。InternChat 的命名也比较有趣，代表着互动（interaction）、非语言（nonverbal）和聊天机器人（chatbots），可以简称为iChat。与现有依赖纯语言的交互系统不同，iChat 通过加入指向指令，显著提高用户与聊天机器人之间的交流效率。此外，作者还提供了一个名为哈士奇（Husky）的大型视觉语言模型，可以进行 capture 和视觉问答，在仅用 70 亿参数的情况下，也能给 GPT-3.5-turbo 留下深刻印象。
不过由于 Demo 网站过于火爆，团队官方暂时关停了体验页面，咱们先通过下面这个视频来了解这项工作内容吧~
论文题目:
InternChat: Solving Vision-Centric Tasks by Interacting with Chatbots Beyond Language
论文链接:
https://arxiv.org/abs/2305.05662
Demo 地址:
https://ichat.opengvlab.com/
项目地址:
https://github.com/OpenGVLab/InternChat/
系统主要特点
作者在项目首页上提供了一些任务截图，可以直观地看到这个交互系统的一些功能与效果：
（a）移除遮盖的对象
（b）交互式图像编辑
（c）图像生成
（d）交互式视觉问答
（e）交互式图像生成
（f）视频高光解释
论文速览
这里首先介绍本文中提及的两个概念：
- 以视觉为中心的任务：为了让计算机能够理解它们从世界中看到的内容并做出相应反应。
- 非语言指令形式的交流：光标和手势之类的指向动作。
▲图1 iChat 的整体架构
iChat 结合指向和语言指令的优势来执行以视觉为中心的任务。如图 1 所示，这个系统由 3 个主要组件组成：
- 处理图像或视频上指向指令的感知单元；
- 具有可以准确解析语言指令的辅助控制机制的 LLM 控制器；
- 集成 HuggingFace 各种在线模型、用户训练的私人模型以及其他应用（如计算器、搜索引擎）的开放世界工具包。
它可以在 3 个层级上有效运行，分别是：
- 基础交互；
- 语言引导的交互；
- 指向-语言增强的交互。
由此，如图 2 所示，当纯语言的系统无法完成任务时，该系统仍可以成功执行复杂的交互任务。
▲图2 指向-语言驱动的交互系统优势
实验
首先我们来看，同时结合语言和非语言指令来提升用于与交互系统之间的沟通效果。为了证明这种混合模式与单纯语言指令相比的优点，研究团队进行了一个用户调查。参与者与 Visual ChatGPT 和 iChat 聊天，并反馈他们的使用感受。表 1 和 2 的结果表明，iChat 比 Visual ChatGPT 更高效且对用户友好。
▲表1 “移除某物”的用户调查
▲表2 “用某物代替某物”的用户调查
小结
不过，目前该系统仍存在着一些局限性，包括了：
- iChat 的高效性在很大程度上取决于其底层开放源代码模型的质量和准确性。然而，这些模型可能存在一些局限或偏见，进而对 iChat 的性能造成不利影响。
- 随着用户交互变得更加复杂或实例数量增多，系统需要维护准确性和响应时间，这对于 iChat 来说可能具有挑战性。
- 此外，当前的视觉和语言基础模型之间缺乏可学习的协作，例如缺乏被指令数据调整的功能。
- iChat 可能会在应对训练数据之外的新颖或不常见情况时遇到困难，导致性能受到影响。
- 在不同设备和平台上实现无缝集成可能会面临挑战，因为硬件能力、软件限制和可访问性要求各不相同。
在项目主页列出的计划清单上，目前还有几项目标尚未达成，其中就有小编每次在新的对话系统上都要体验的中文交互，目前该系统应该还是暂不支持中文问题，不过这貌似没办法，由于多模态数据集多是基于英文的，英汉互译较为浪费线上资源和处理时间，估计汉化之路还是需要一段时间的。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。