打破大模型黑盒，彻底分解神经元！OpenAI对头Anthropic击破AI不可解释性障碍
多年来，我们一直无法理解人工智能是如何做出决策和产生输出的模型开发人员只能决定算法、数据，最后得到模型的输出结果，而中间部分——模型是怎么根据这些算法和数据输出结果，就成为了不可见的「黑箱」。所以就出现了「模型的训练就像炼丹」这样的戏言。但现在，模型黑箱终于有了可解释性！来自Anthropic的研究团队提取了模型的神经网络中最基本的单位神经元的可解释特征。这将是人类揭开AI黑箱的里程碑式的一步。Anthropic充满激动地表示：「如果我们能够理解模型中的神经网络是如何工作的，那么诊断模型的故障模式、设计修
多年来，我们一直无法理解人工智能是如何做出决策和产生输出的
模型开发人员只能决定算法、数据，最后得到模型的输出结果，而中间部分——模型是怎么根据这些算法和数据输出结果，就成为了不可见的「黑箱」。
所以就出现了「模型的训练就像炼丹」这样的戏言。
但现在，模型黑箱终于有了可解释性！
来自Anthropic的研究团队提取了模型的神经网络中最基本的单位神经元的可解释特征。
这将是人类揭开AI黑箱的里程碑式的一步。
Anthropic充满激动地表示：
「如果我们能够理解模型中的神经网络是如何工作的，那么诊断模型的故障模式、设计修复程序，并让模型安全地被企业和社会采用就将成为触手可及的现实！」
在Anthropic的最新研究报告《走向单语义性：用字典学习分解语言模型》中，研究人员使用字典学习的方法，成功地将包含512个神经元的层分解成了4000多个可解释的特征
研究报告地址：https://transformer-circuits.pub/2023/monosemantic-features/index.html
这些特征分别代表了DNA序列、法律语言、HTTP请求、希伯来文本和营养成分说明等
当我们孤立地观察单个神经元的激活时，我们无法看到这些模型属性中的大部分
大多数神经元都是「多语义」的，这意味着单个神经元与网络行为之间没有一致的对应关系
例如，在一个小型语言模型中，单个神经元在许多不相关的上下文中都很活跃，包括：学术引文、英语对话、HTTP 请求和韩语文本。
而在经典视觉模型中，单个神经元会对猫的脸和汽车的前脸做出反应。
在不同的语境中，许多研究都证明了一个神经元的激活可能具有不同的含义
一个潜在的原因是神经元的多语义性是由于叠加效应。这是一种假设的现象，即神经网络通过为每个特征分配自己的神经元线性组合来表示数据的独立特征，而这种特征的数量超过了神经元的数量
如果将每个特征视为神经元上的一个向量，那么特征集就构成了网络神经元激活的一个过完备线性基础。
在Anthropic之前的Toy Models of Superposition（《叠加玩具模型》）论文中，证明了稀疏性在神经网络训练中可以消除歧义，帮助模型更好地理解特征之间的关系，从而减少激活向量的来源特征的不确定性，使模型的预测和决策更可靠。
这一概念类似于压缩感知中的思想，其中信号的稀疏性允许从有限的观测中还原出完整的信号。
但在Toy Models of Superposition中提出的三种策略中：
（1）创建没有叠加的模型，或许可以鼓励激活稀疏性;
（2）在展现出叠加态的模型中，采用字典学习来寻找过完备特征
（3）依赖于两者结合的混合方法。
需要进行改写的内容是：方法（1）无法解决多义性问题，而方法（2）则容易出现严重的过拟合情况
因此，这次Anthropic的研究人员使用了一种称为稀疏自动编码器的弱字典学习算法，从经过训练的模型中生成学习到的特征，这些特征提供了比模型神经元本身更单一的语义分析单位。
具体来说，研究人员采用了具有512个神经元的MLP单层transformer，并通过从80亿个数据点的MLP激活上训练稀疏自动编码器，最终将MLP激活分解为相对可解释的特征，扩展因子范围从1×（512个特征）到256×（131,072个特征）。
为了验证本研究发现的特征比模型的神经元更具可解释性，我们进行了盲审评估，让一位人类评估员对它们的可解释性进行评分
可以看到，特征（红色）的得分比神经元（青色）高得多。
研究人员发现的特征相对于模型内部的神经元来说更易于理解，这一点已经得到证明
此外，研究人员还采用了「自动解释性」方法，通过使用大型语言模型生成小型模型特征的简短描述，并让另一个模型根据该描述预测特征激活的能力对其进行评分。
同样，特征得分高于神经元，证明了特征的激活及其对模型行为的下游影响具有一致的解释。
并且，这些提取出的特征还提供了一种有针对性的方法来引导模型。
如下图所示，人为激活特征会导致模型行为以可预测的方式更改。
以下是提取出的可解释性特征的可视化图：
点击左侧的特征列表，您可以与神经网络中的特征空间进行互动式探索
研究报告概要
这份来自Anthropic的研究报告，Towards Monosemanticity: Decomposing Language Models With Dictionary Learning，主要可以分为四个部分。
问题设置，研究人员介绍了研究动机，并阐述训练的transfomer和稀疏自动编码器。
单个特征详细调查，证明了研究发现的几个特征是功能上特定的因果单元。
通过全局分析，我们得出结论，典型特征是可以解释的，并且它们能够解释MLP层的重要组成部分
现象分析，描述了特征的几个属性，包括特征分割、普遍性，以及它们如何形成类似于「有限状态自动机」的系统来实现复杂的行为。
结论包括以下7个：
稀疏自动编码器具有提取相对单一的语义特征的能力
稀疏自编码器能够生成可解释的特征，而这些特征在神经元的基础中实际上是不可见的
3. 稀疏自动编码器特征可用于干预和引导变压器的生成。
4. 稀疏自编码器能生成相对通用的特征。
随着自动编码器大小的增加，特征有「分裂」的倾向。 重写后：随着自动编码器尺寸的增加，特征呈现出「分裂」的趋势
6. 只需512个神经元即可表示成千上万个特征
7. 这些特征通过连接在一起，类似于「有限状态自动机」的系统，实现了复杂的行为，如下图所示
具体详细内容可见报告。
Anthropic认为，要将本研究报告中小模型的成功复制到更大的模型上，我们今后面临的挑战将不再是科学问题，而是工程问题
为了在大型模型上实现解释性，需要在工程领域投入更多的努力和资源，以克服模型复杂性和规模带来的挑战
包括开发新的工具、技术和方法，以应对模型复杂性和数据规模的挑战；也包括构建可扩展的解释性框架和工具，以适应大规模模型的需求。
这将成为解释性人工智能和大规模深度学习研究领域的最新趋势
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。