展开菜单
首页 精品内容 本月促销 装机必备 Windows PDF教程 macOS软件 IOS软件 Android AI 专题
全部分类

当前位置:

首页 > 硬件相关 > 蚂蚁集团开源两款AI安全模型 覆盖智能体与多模态安全场景

蚂蚁集团开源两款AI安全模型 覆盖智能体与多模态安全场景

蚂蚁集团开源两款AI安全模型:SingGuard-NSFA为智能体提供行为安全防护,覆盖185种风险场景;SingGuard针对多模态交互内容安全,实现文本、图片统一检测。两者在多项评测中领先,已应用于实际业务。

7月13日,蚂蚁AI安全实验室放了个大招——正式开源了智能体安全护栏SingGuard-NSFA,同时披露了多模态安全护栏SingGuard的详细信息。这两款模型分别瞄准了“自主执行的智能体”和“多模态交互的大模型”这两个前沿场景,可以说是AI安全领域的一次重要布局。

SingGuard-NSFA:给智能体装上“行为安全带”

AI智能体已经不再满足于陪你聊天、回答问题,而是真的开始“动手做事”了——调用工具、执行代码、编排多步任务,一个比一个能折腾。但问题也随之而来:安全风险不再只是内容层面的问题,而是更多地体现在行为层面。提示词注入、敏感信息窃取、恶意代码执行、资源耗尽、权限滥用……这些风险,传统的内容审核体系根本覆盖不过来。

针对这个痛点,蚂蚁AI安全实验室推出了SingGuard-NSFA。它的核心思路是在智能体动手执行动作之前,先完成实时安全检测,从请求拦截和响应兜底两头入手,构建一个完整的行为安全防护体系。

具体来说,SingGuard-NSFA基于CIA(保密性、完整性、可用性)原则,并参考了OWASP等国际安全指南,将智能体风险细分为7大类、28个中类和185个具体场景。为了支撑这套体系,团队还建立了一个覆盖133种语言、近10万条样本的智能体安全评测库——数据量相当扎实。

技术实现上,SingGuard-NSFA兼顾了安全审计和实时防护两种需求。它提供了两种工作模式:一种可以逐条生成详细的风险分析报告,方便事后审查和合规记录;另一种则能在50毫秒左右完成单次风险判定,非常适合线上高并发场景下的实时拦截。而且,它提供了0.8B、2B、4B、9B四种模型规模,不同部署需求都能找到合适的版本。

多项公开评测显示,SingGuard-NSFA在智能体输入、输出安全检测中均取得了领先表现。值得注意的是,它的0.8B模型就能达到8B模型的性能水平。更关键的是,新增风险类别时只需要训练轻量模块,不必重新训练整个模型,这对接下来的持续迭代和升级非常有价值。

SingGuard:多模态场景下的内容安全新防线

与智能体操作安全并行的另一条防线,是多模态交互场景下的内容安全。今年6月,Anthropic发布的旗舰模型Claude Fable 5,在发布后数日内就被研究者用Unicode字符和西里尔字母替换敏感词的方式绕过了安全护栏——模型能还原原意,但分类器却视其为陌生拼写,结果系统提示词就被套出来了。这个案例说明,模型越能读懂变形文字、图片和跨模态信息,传统关键词识别式的护栏就越显得力不从心。

SingGuard正是为此设计的多模态安全护栏。它针对文本、图片及跨模态内容建立了一个统一的安全判断框架,能够识别攻击者将恶意动作隐藏在文字、图片等不同模态中的复杂攻击。同时,它支持运行时动态加载自然语言安全规则,无需重新训练模型即可完成规则更新,这一点对于规则持续演进、业务流量较大的生产环境来说非常实用。

在推理机制上,SingGuard采用了“快慢结合”的模式:先快速完成初步判断,只有面对复杂场景时才启动进一步推理。这种设计在保证效率的同时,也提升了检测准确率。

在覆盖文本查询、文本回复、图像、多模态和多语言的6大类评测中,SingGuard在35个数据集及评测切分上的平均F1均为最高。对比对象涵盖了Llama Guard 3、谷歌ShieldGemma、GPT-5、Gemini3-Pro等行业内最具代表性的主流护栏,SingGuard均实现了全面领先——这个成绩相当有说服力。

中国信通院人工智能研究所安全治理部副主任呼娜英表示,随着大模型从内容生成迈向自主执行,AI安全正从内容审核延伸至行为管控和系统治理,成为智能体规模化应用的重要基础能力。事实上,蚂蚁AI安全实验室已经针对开源智能体框架OpenClaw开展了专项安全审计,并于今年4月联合清华大学开源了智能体安全防御插件ClawAegis,为自主智能体提供覆盖全生命周期的安全防护能力。此次SingGuard-NSFA与SingGuard多模态安全护栏相继开源,是蚂蚁集团持续推进AI安全技术研发和开放生态建设的重要实践。

这些安全技术的研发与开源,并非凭空而来。它们建立在蚂蚁集团二十余年的安全技术积累之上——支付安全、数据安全、隐私保护、风险治理……这些领域的长期实践,为蚂蚁持续完善AI安全体系提供了坚实的基础。目前,相关能力已经应用于蚂蚁阿福、AI版支付宝“阿宝”、支付宝“AI付”等业务场景,从实验室走向了真实的生产环境。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
作者最新文章
硬件相关
相关文章 更多
精品专题 更多
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

PDF教程

正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

IOS软件

正软商城iOS软件专区,精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用,提供功能介绍、适用设备、系统要求和正版获取方式等信息。

AI

正软商城AI软件专区,汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具,提供功能介绍、适用平台、收费方式及正版购买信息。

Mac软件 更多
WPS Office macOS版
WPS Office macOS版

WPS Office是一款面向macOS用户的综合办公套件,将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式,支持Intel及Apple芯片Mac,基础功能可免费使用,

Shapr3D macOS版
Shapr3D macOS版

Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核,支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换,并可通过账户在多台设备之间同步项目。

REAPER macOS版
REAPER macOS版

REAPER是Cockos开发的数字音频工作站,提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片,支持AU、VST、VST3、CLAP等插件格式,并提供高度可定制的工作流程。

Ableton Live macOS版
Ableton Live macOS版

Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站,提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片,并可连接音频接口、MIDI控制器和第三方插件。

Adobe After Effects macOS版
Adobe After Effects macOS版

Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具,并可与 Premiere Pro、Photoshop、Illustrator

Adobe Audition macOS版
Adobe Audition macOS版

Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站,提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具,并可与 Adobe Premiere 协同完成视频声音制作。

Adobe Bridge macOS版
Adobe Bridge macOS版

Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具,可集中预览照片、视频和 Adobe 项目文件,并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera

Adobe Illustrator macOS版
Adobe Illustrator macOS版

Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件,适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形,并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。

Adobe InDesign macOS版
Adobe InDesign macOS版

Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件,可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。

Adobe Lightroom Classic macOS版
Adobe Lightroom Classic macOS版

Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件,可将原始照片保存在本地硬盘,通过目录、关键词、评分和收藏夹高效整理图库,并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。

Adobe Media Encoder macOS版
Adobe Media Encoder macOS版

Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具,可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出,并与 Premiere Pro、After Effects 等软件紧密协作。

Adobe Photoshop macOS版
Adobe Photoshop macOS版

Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件,提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。

WINDOWS 更多
AutoCAD Windows版
AutoCAD Windows版

AutoCAD 是 Autodesk 推出的专业计算机辅助设计软件,Windows 版支持精确二维绘图、三维实体与曲面建模、图纸标注、布局发布和任务自动化,并包含多套行业专业化工具组合,适用于建筑、机械、电气、工程建设及制造设计人员。

SketchUp Pro Windows版
SketchUp Pro Windows版

SketchUp Pro 是面向建筑、室内、景观、施工和产品设计等专业场景的三维建模工具,提供桌面建模、LayOut 二维文档、模型资源库、扩展程序及云端协作能力。其操作逻辑直观,适合从概念推敲、空间规划到图纸表达和方案汇报的完整工作流程。

AutoCAD LT Windows版
AutoCAD LT Windows版

AutoCAD LT 是 Autodesk 推出的专业二维 CAD 软件,适合建筑师、工程师、施工人员和设计师完成精确绘图、标注及文档编制。它支持 DWG 工作流、智能块、图形比较、计数、表格和 AutoLISP 自动化,

Rhino 3D Windows版
Rhino 3D Windows版

Rhino 3D 是 McNeel 推出的专业三维建模工具,可创建、编辑和分析 NURBS 曲线曲面、实体、网格、SubD 与点云。Windows 版支持精确造型、工程制图、渲染、文件转换及 Grasshopper 参数化设计,

Autodesk Fusion Windows版
Autodesk Fusion Windows版

Autodesk Fusion 是面向产品设计与制造的云连接开发平台,在统一环境中整合三维 CAD、CAM、CAE、PCB、工程图、数据管理和团队协作功能,适合产品设计师、机械工程师、电子工程师及加工制造团队完成从概念建模、验证分析到生产交

Archicad Windows版
Archicad Windows版

Archicad 是 Graphisoft 面向建筑师、设计师、工程师及 BIM 团队开发的建筑信息模型平台。它把三维建筑建模、施工文档、数据管理、专业协调、实时协作和可视化集中在统一项目环境中,适合从概念方案到施工交付的完整建筑设计流程。

Vectorworks Architect Windows版
Vectorworks Architect Windows版

Vectorworks Architect 是面向建筑师、室内设计师和建筑顾问的综合设计与BIM平台,覆盖概念草图、二维制图、三维建模、施工文档、数据报表、可视化及开放式协作。它强调自由造型与数据化建筑对象并存,

Shapr3D Windows版
Shapr3D Windows版

Shapr3D 是一款基于 Siemens Parasolid 几何内核的专业三维CAD软件,可在 Windows 电脑和平板设备上完成草图绘制、实体建模、参数化修改、模型可视化及技术图纸制作。软件提供免费基础方案,

FreeCAD Windows版
FreeCAD Windows版

FreeCAD 是面向机械设计、产品开发、建筑建模和创客项目的免费开源参数化三维 CAD 工具。它可在 Windows 上完成约束草图、实体零件、装配、工程图、BIM、有限元分析及 CAM 等任务,

Twinmotion Windows版
Twinmotion Windows版

Twinmotion 是 Epic Games 推出的实时三维可视化工具,可导入常见 CAD、BIM 与三维模型,通过材质、环境、植被、灯光及动画资源快速构建场景,并输出图片、视频、全景图和交互演示。

BricsCAD Windows版
BricsCAD Windows版

BricsCAD 是以 DWG 为核心格式的专业 CAD 平台,可用于二维制图、三维建模、工程文档与设计协作。产品按 Lite、Pro、BIM、Mechanical 和 Ultimate 等层级提供不同工具,

Ableton Live Windows版
Ableton Live Windows版

Ableton Live 是面向音乐创作、录音、编曲、声音设计、混音与现场演出的数字音频工作站。它将适合即兴触发素材的 Session 视图与传统时间线编曲结合,并提供音频变速、MIDI工具、软件乐器、效果器和声音资源,