华人又来炸场！一个命令工具让GPT-4干掉Devin和RAG！Jim Fan：提示工程2.0没必要了！
出品|51CTO技术栈（微信号：blog51cto）昨天，普林斯顿的CS/NLP硕士生JohnYang在Github上开源了一款比Devin更优秀的工具。不久之后，在Github上斩获了1.3k星，异常生猛。据悉，4月10日，详细的技术论文将会公开！图片1.让语言模型秒变编程Agent！SWE-agent是一款用于自主解决Github存储库问题的新系统，在SWE-bench上取得了与Devin相似的准确度，平均耗时只有93s，而且重要的是，开源！！图片此外，SWE-agent通过与专用终端交互来工作，这使
出品 | 51CTO技术栈（微信号：blog51cto）
昨天，普林斯顿的CS/NLP硕士生John Yang在Github上开源了一款比Devin更优秀的工具。不久之后，在Github上斩获了1.3k星，异常生猛。据悉，4月10日，详细的技术论文将会公开！
图片
1.让语言模型秒变编程Agent！
SWE-agent是一款用于自主解决Github存储库问题的新系统，在SWE-bench上取得了与Devin相似的准确度，平均耗时只有93s，而且重要的是，开源！！
图片
此外，SWE-agent 通过与专用终端交互来工作，这使得它能够：
- 打开、滚动和搜索文件
- 使用自动语法检查编辑特定行
- 编写并执行测试 这个定制的界面对于良好的性能至关重要！
2.大模型虽好，但也需要叠加Buff
要知道，目前如果只是简单地将 LM 连接到普通的 bash 终端效果并不好。
大模型需要精心设计的代理计算机界面（类似于人类喜欢良好的 UI 设计）才能更好地发挥威力！即使强如GPT-4，良好的代理计算机设计也很重要。
例如，当大模型弄乱缩进时，SWE-agent的编辑器会阻止它并提供反馈！
另外，团队还发现了一个重要的数字经验：对于查看文件，让 SWE-agent 一次仅查看 100 行比让它查看 200 或 300 行要好，而且比让它查看整个文件要好得多。所谓的“长文本”能力在这里好像不好用了。
SWE-agent团队的厉害之处在于，他们设计了一种代理计算机交互接口（ACI），让大模型有一个专属的定制界面。
图片
SWE-agent 将大模型（例如 GPT-4）转变为软件工程代理，可以修复真实 GitHub 存储库中的错误和问题。在完整的SWE-bench测试集上，SWE-agent 解决了12.29%的问题，在完整的测试集上实现了最先进的性能。
图片
3.Agent必备：代理计算机接口 (ACI)
通过设计简单的以大模型为中心的命令和反馈格式来实现这些结果，使大模型更容易浏览存储库、查看、编辑和执行代码文件。团队将其称为代理计算机接口(ACI)，并构建 SWE 代理存储库，以便轻松迭代存储库级编码代理的 ACI 设计。
图片
大家都知道，再好的语言模型，也都需要良好的提示工程。Agent也一样，同样需要良好的ACI设计，这样可以带来更好的结果。正如我们在论文中所示，没有经过良好调整的 ACI 的基线代理的表现比 SWE 代理差得多。
在Agent-计算机界面设计过程中，SWE-agent 团队总结了几个非常有用的经验：
第一，团队添加了一个在发出编辑命令时运行的 linter，并且如果代码语法不正确，则不会让编辑命令通过。
第二，为Agent提供了一个专门构建的文件查看器，而不仅仅是cat文件。团队发现此文件查看器在每轮仅显示 100 行时效果最佳。我们构建的文件编辑器具有用于上下滚动以及在文件中执行搜索的命令。
第三，还为Agent提供了专门构建的全目录字符串搜索命令。团队发现该工具简洁地列出匹配项非常重要 - 我们只需列出至少有一个匹配项的每个文件。事实证明，向模型显示有关每场比赛的更多上下文对于模型来说太混乱了。
第四，当命令的输出为空时，我们会返回一条消息，指出“您的命令已成功运行，但未产生任何输出”。
来看看实际演示，全程无炒作！
安装也很简单，Docker+Miniconda，外加一个激活命令行：conda activate swe-agent
就可以快速体验。具体来说，运行./setup.sh以创建swe-agentdocker 镜像，然后配置文件keys.cfg也需要改动填充一下：
OPENAI_API_KEY: 'OpenAI API Key Here if using OpenAI Model (optional)'ANTHROPIC_API_KEY: 'Anthropic API Key Here if using Anthropic Model (optional)'GITHUB_TOKEN: 'GitHub Token Here (required)'
4.用法简单：推理和评估两个步骤
SWE-agent 管道有两个步骤：推理和评估。非常简单，第一步（推理）就是向SWE agent输入GitHub问题并返回尝试修复它的拉取请求；第二步（评估，目前仅适用于 SWE-bench 基准测试中的问题）就是评估拉取请求，看看它是否确实可以解决问题。
不管你是想跑在Github还是SWE-bench上，都会有相应的命令。
推理
对任何GitHub 问题的推理：使用此脚本，你可以在任何 GitHub 问题上运行 SWE-agent！
python run.py --model_name gpt4 \--data_path https://github.com/pvlib/pvlib-python/issues/1603 --config_fi
SWE-bench 上的推理：在SWE-bench Lite上运行 SWE-agent并生成补丁。
python run.py --model_name gpt4 \--per_instance_cost_limit 2.00 \--config_file ./config/default.yaml
如果您想从 SWE-bench运行单个--instance_filter问题，请使用以下选项：
python run.py --model_name gpt4 \--instance_filter marshmallow-code__marshmallow-1359
评估
此步骤仅适用于 SWE 基准集中的问题。要评估生成的拉取请求：
cd evaluation/./run_eval.sh
5.JimFan：提示工程2.0也许没那么重要了！
对于这一发布，英伟达高级研究经理JimFan认为，非常棒！单纯靠GPT4命令行工具进行更好手动设计就可以达到媲美Devin的精确度，没有魔法，没有炒作。
此外，Jim认为当GPT5到来时，也许指令遵循、工具使用，长上下文会更好。也许所谓“提示工程2.0”不再那么重要了！
图片
知识补充：
SWE Bench旨在提供一组不同的代码库问题，这些问题可以使用回购单元测试进行验证。完整的SWE台架测试拆分包括12个python存储库中的2294个问题提交对。
自发布以来，对于大多数在SWE工作台上进行评估的系统来说，运行每个实例可能需要大量的时间和计算。官方还发现，SWE工作台可能是一个特别困难的基准，从长远来看，这对评估LMs很有用，但对试图在短期内取得进展的系统来说却令人沮丧。
为了解决这些问题，SWE-bench发布了一个规范子集SWE-bench Lite。SWE-bench Lite包括SWE bench中的300个实例，这些实例经过采样后更加独立，重点是评估功能性错误修复。
参考链接：https://github.com/princeton-nlp/SWE-agent
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，