prompt工程已死？Google DeepMind提出“视觉提示工程”新范式：比文本指令更有效
GoogleDeepMind提出视觉提示工程（VIPE），通过优化视觉输入提升视频模型推理性能。实验表明，视觉提示工程比文本提示更有效，可自动化且降低错误率，但依赖图像编辑模型质量，未来需稳定保留任务信息。
提示工程（prompt engineering）已经成了提升语言模型性能的一个关键手段。业内现在的共识是：只要模型的输入空间足够丰富，就一定存在通过优化输入来获得更好下游性能的机会。
那么，这一原理是语言模型专属的，还是说也能跨出这个边界——比如，延伸到视觉领域？
Google DeepMind 在一篇新论文中给出了答案，他们提出了“视觉提示工程”（visual prompt engineering，VIPE），正式把提示工程这套方法论搬到了视觉领域。
实验结果表明，视觉提示工程在多个任务上都能有效提升视频推理性能。而且，对视频模型来说，它有时候甚至比经典的文本提示工程或 test-time scaling 更管用。
就像文本提示工程能系统性提升语言模型的表现一样，视觉提示工程同样提供了一种简单、计算高效的手段，用来激发视频模型更好的视觉推理能力。
研究团队认为，这指向了一种新的范式：视觉提示本身，也可以像文本提示一样被优化。随着前沿视频模型开始接收更丰富的多模态上下文，视觉提示工程或许会从单张图像编辑，扩展到多张参考图像甚至视频。
视觉提示工程：在新的视觉场景中处理同一问题
视觉提示工程，本质上就是针对视频模型视觉输入的提示工程方法。它不改变任务本身的逻辑，而是把原始图像转换成模型更容易理解和推理的视觉形式——让模型能在全新的视觉场景中，去处理同一个问题。举个例子，一张抽象的球和斜坡示意图，可以改写成写实的台球和木板场景，只要关键的空间关系保持一致就行。
图｜视觉提示工程从一个视觉提示开始，比如一张球和斜坡的草图图像，以及“球沿着……滚下，最后落入其中一个桶里”这样的文本提示。
具体流程分三步：
1. 构想器：负责想清楚图像该怎么改。它会根据任务样本和约束条件，生成一段自然语言编辑指令，指令里明确标注哪些任务相关元素必须保留，比如物体的数量、位置、朝向和相对关系。
2. 编辑器：按编辑指令修改原图，生成一个或多个候选图像。这个步骤可以由图像编辑模型完成，也可以由人工编辑完成。
3. 筛选器：这是一个可选步骤。当编辑器生成多个候选图时，筛选器会从中挑出更合适的版本，优先选择图像质量更好、同时保留了原图任务关键信息的那个。
比文本指令更有效
研究团队在 VPCT 物理推理任务上测试并验证了自动化视觉提示工程。整体来看，视觉提示工程确实能提升视频模型的视觉推理表现，而且，优化视觉上下文通常比优化文本指令更有效。
真正驱动性能提升的是视觉真实感
使用视觉提示工程后，Veo 3.1 的准确率从 41.3% 提升到了 59.3%，Omni Flash 从 56.3% 提升到了 67.5%。视频模型显然系统性地偏好照片级真实的上下文，而非抽象输入。
图｜视觉提示工程提升了 VPCT 上的物理推理能力。
既可以自动化，也能作为有效的测试时扩展策略
视觉提示工程的自动化流程，由视觉-语言模型（VLM）生成改写指令，图像编辑模型生成候选图，自动评分器负责筛选或反馈迭代。研究团队比较了自由形式构想和原子概念编辑（ACE）两条路线，结果发现两种方法都能自动生成更好的改写图像；自由形式视觉提示工程在部分任务上甚至把错误率降低了超过 75%。而 ACE 在 Sort 3 Numbers 任务上，如果按样本选择最佳视觉版本，错误率可以降为 0。
图｜自动化视觉提示工程在多种任务上都能提升性能。
在小球滚落物理推理任务中，未使用视觉提示工程时，Veo 3.1 通过多次采样从 41.3% 提升到 50.0%；而加入视觉提示工程后，单次采样准确率就达到了 59.3%。如果在视觉提示工程改写后的视觉提示上继续做多次采样，准确率还能进一步攀升到 68.0%。
图｜视觉提示工程还可以与测试时扩展结合，进一步提升性能。
优化视觉上下文往往比优化文本指令更有效
以 Sort 3 Numbers 任务为例，最优文本提示和最优图像提示的准确率分别为 86% 和 76%。
图｜对于视频模型而言，视觉提示工程可能比文本提示工程更有效。
没有系统性提升原生图像生成模型的推理表现
研究团队测试了 Nano BananaPro、Nano Banana 2 等模型，结果显示，把输入换成照片级真实图像后，图像模型的推理性能并没有稳定的提升。这可能是因为原生图像生成模型覆盖了更多的视觉风格，对抽象草图和真实图像都比较熟悉。
图｜原生图像生成模型在 VPCT 上的结果，报告每种配置下的最佳提示结果。
有效的图像改写通常具备三类特征：场景更真实、目标更突出、语义更直接
这类改写能把抽象草图转换成更接近真实世界的视觉场景，从而减少抽象输入与视频模型熟悉视觉表征之间的差距。例如在 VPCT 任务上，将草图改写为照片级真实场景后，Veo 3.1 的准确率提升到了 59.3%。因此，当同一任务可以转换为更真实的视觉场景时，优先使用真实场景版本通常是更明智的选择。
图｜向真实感迈出的每一步都会提升生成一致性。
当然，当前的方法也存在一定的局限性。
比如，当前的视觉提示工程方法高度依赖图像编辑模型的质量，如果编辑器改变了任务信息或者引入了伪影，下游视频模型可能就无法解决原始任务了。未来，如果图像编辑模型能更稳定地保留任务信息，额外的筛选和质量控制步骤或许就不再需要了。
同时，视觉提示工程也会带来额外的成本。不过，图像编辑通常比视频生成便宜得多，所以这项成本在实践中反而可能转化为优势——一次便宜的图像编辑调用，就能降低一次昂贵视频生成失败的概率。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。
Cubase 是 Steinberg 推出的数字音频工作站，提供 MIDI 编曲、多轨录音、音频编辑、虚拟乐器、效果处理、自动化、混音和母带输出工具。其 Pro、Artist 与 Elements 版本面向不同预算和制作规模，