SOTA大模型加密数据评测：Qwen3仅破10%
大语言模型面对加密数据，即便最新的Qwen3也会感到压力！尽管当下各类推理模型在多种基准测试中表现优异，但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域，模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链，还需要其能够精准辨识复杂加密模式中的潜在规律；成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评，使用大量真实隐私场景数据和多种密码算法，严苛挑战当前最先进的大模型。CipherBank的测评结果显示，目前的大语言模型
大语言模型面对加密数据，即便最新的Qwen3也会感到压力！
尽管当下各类推理模型在多种基准测试中表现优异，但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域，模型的推理能力还有待深入挖掘。
密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链，还需要其能够精准辨识复杂加密模式中的潜在规律；成功解密要求模型拥有极强的综合推理能力。
上海AI Lab等联合推出的CipherBank测评，使用大量真实隐私场景数据和多种密码算法，严苛挑战当前最先进的大模型。
CipherBank的测评结果显示，目前的大语言模型在密码学解密任务上的整体表现欠佳，最优模型准确率未达半数，多数模型准确率低于20%，这表明结构化和符号化推理仍是它们的明显短板。
在CipherBank测评中，Claude-3.5-Sonnet和o1表现最佳，DeepSeek系列稍优于通用模型，而GPT-4o、Gemini等模型表现平平，Qwen2.5, Llama3.1, Llama3.3等开源模型表现较差，即便是最新发布的Qwen3系列模型表现也不理想，30B和32B的模型准确率均未超过10%；整体显示当前大模型在解密推理任务上仍存在明显不足。
CipherBank：专用于检验大模型解密能力的题库
CipherBank是一个全面、真实、精巧的密码学解密基准测试集。它并非随机文本的加密，而是精心构建了贴近实际生活隐私敏感场景的明文数据。
数据：覆盖5大领域(如个人隐私、金融资产)、14个子领域(如身份信息、银行信息)、89个细粒度标签，共262个独特明文。这些数据体现了真实的加密需求。
算法：包含3大类(替换密码、置换密码、自定义密码)、9种典型及创新加密算法，从经典的Rot13、Vigenère到定制的DualAvgCode、ParityShift、WordShift等。设计了5个难度层级，从基础到专家，全方位考验模型的解密能力。
题库：总共生成了2,358道经过严格验证的解密题目。每一道题，都是对LLM推理能力的巨大挑战！
用研究者的话说：CipherBank，就是要让LLMs在没有“场外提示”的情况下，仅凭自身能力闯过重重“密室”。
SOTA模型实测：集体“滑铁卢”，最高分未过半
研究团队邀请了当前AI界的18位“顶级”选手（包括GPT家族、DeepSeek系列、Gemini系列、Claude 3.5、o1系列等）进行了这场硬核PK。
评估采用3-shot设置。模型拿到的是几个明文-密文示例，需要像真正的密码分析师一样，从中自主学习加密规则、推断密钥，最终才能解密全新的密文。这评估的是真正的推理能力，而非简单的“记忆”或“穷举”。
集体“不及格”？：令人震惊的是，绝大多数SOTA模型得分惨淡，部分甚至接近零分。即使是表现最好的Claude-3.5和o1，准确率也未能突破50%。这说明，即使是古典密码解密，对目前的LLMs来说依然是一个巨大的未被攻克的堡垒。
推理模型「略有优势」：推理优化模型（DeepSeek-R1, o1）的平均表现确实优于通用聊天模型，这再次证明了推理优化在逻辑任务上的价值，但差距并没有拉开到大家想象的那么大。
闭源模型「暂时领跑」：Claude-3.5以显著优势领跑，在替换密码、置换密码上展现了非凡能力，o1紧随其后。但DeepSeek-V3/R1等开源模型的进步也很亮眼，正在奋力追赶。
性能差异「惊人」：同类模型在解密任务中的表现差异较大，例如o1与QwQ-32B-Preview的准确率相差几十倍。
除此之外，研究团队还对全新发布的Qwen3 32B系列模型进行了测试，发现即使是最新发布的Qwen3模型，测试准确率依旧不足10%：
剥茧抽丝：大模型为何在解密上“犯难”？
为什么LLMs在解密上这么“挣扎”？研究团队进一步做了细致分析：
怕长文本： 文本越长，模型越容易出错！与人类解密不同，人类一旦成功找到解密方法之后，便能以近100%的成功率破解，而LLMs的“脑容量”在解密时会受到长度限制。
怕噪音干扰：明文中加点儿错别字或无关信息，模型性能“闪崩”！这暴露了模型在“猜测”而非“推理”——它们不是严格按规则解密，而是依赖文本的语义顺畅度，一旦语义被破坏，就歇菜了。
怕数字转换：加密内容里混入数字？难度瞬间飙升！LLMs在处理涉及数字的转换规则时显得尤为吃力。
"提示"依赖症：如果在Prompt里直接告诉模型是什么算法，推理模型表现会大幅提升，而通用模型提升有限。这说明推理模型在“有向”推理时更有效，但自主从示例中发现规则的能力还不足。
错误分析：模型到底错在哪儿？
研究团队对模型的错误输出进行了细致分类（遗漏/插入、姓名解密错误、语义推断、重组、推理失败等），将模型的错误分布总结为下图（左图为Chat model错误分布，右图为Reasoning model的错误分布），并发现了一些有意思的现象：
推理模型「想太多」：有时在简单的算法（比如Reverse）上，推理模型反而会“过度分析”，绕了远路最终出错。
对话模型「爱脑补」：更倾向于生成语义通顺但并未完全符合解密规则的文本，容易出现“遗漏/插入”或“重组”错误，像是在“自由发挥”。
「姓名识别」的通病：处理姓名等专有名词的解密时，模型们普遍容易出错，这可能是预训练数据带来的某种“记忆”干扰。
未来展望
那么，未来的AI应该往哪个方向努力，才能征服密码解密这座“高山”呢？CipherBank的结果为人们指明了几个关键的突破口：
摆脱「过度语义依赖」：让模型训练出纯粹的、抽象的符号和结构化推理能力，不再仅仅依赖表面文本的“猜意思”或进行“语义补全”，尤其在处理不具备强语义规律的加密数据时。
增强「模式学习与泛化」：提升模型从少量示例中精准对比分析、高效提取隐含加密规则和密钥的能力，并能将这些规则稳健地泛化应用于各种情况，包括处理混合文本（如数字与字母）以及对抗轻微的噪音干扰。
优化「推理执行的稳定性」：改进模型的思考流程，避免在看似简单的任务上“过度思考”或陷入不必要的递归修正，确保推理过程更加直接、高效和稳定，能够精确无误地执行推断出的解密步骤。
未来，大语言模型有望在密码学领域取得更加显著的进展。
项目主页：https://cipherbankeva.github.io/
论文直达：https://arxiv.org/abs/2504.19093
测试数据：https://huggingface.co/datasets/yu0226/CipherBank
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
点亮星标
科技前沿进展每日见
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Premiere Pro 是面向专业视频制作的非线性剪辑软件，提供多轨时间线、调色、音频处理、字幕、代理工作流和多格式输出能力，并可与 After Effects、Audition、Photoshop 及 Frame.io 协同
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。