OpenAI开发新工具，试图解释语言模型的行为
语言模型是一种人工智能技术，可以根据给定的文本生成自然语言。OpenAI的GPT系列语言模型是目前最先进的代表之一，但IT之家注意到它们也有一个问题：它们的行为很难理解和预测。为了让语言模型更透明和可信，OpenAI正在开发一种新工具，可以自动识别语言模型中哪些部分对其行为负责，并用自然语言进行解释。这个工具的原理是利用另一个语言模型（也就是OpenAI最新的GPT-4）来分析其他语言模型（比如OpenAI自己的GPT-2）的内部结构。语言模型由许多“神经元”组成，每个神经元都可以观察文本中的某种特定模式
语言模型是一种人工智能技术，可以根据给定的文本生成自然语言。OpenAI 的 GPT 系列语言模型是目前最先进的代表之
一，但IT之家注意到它们也有一个问题：它们的行为很难理解和预测。为了让语言模型更透明和可信，OpenAI 正在开发一种新工具，可以自动识别语言模型中哪些部分对其行为负责，并用自然语言进行解释。
这个工具的原理是利用另一个语言模型（也就是 OpenAI 最新的 GPT-4）来分析其他语言模型（比如 OpenAI 自己的 GPT-2）的内部结构。语言模型由许多“神经元”组成，每个神经元都可以观察文本中的某种特定模式，并影响模型下一步的输出。例如，给定一个关于超级英雄的问题（比如“哪些超级英雄有最有用的超能力？”），一个“漫威超级英雄神经元”可能会提高模型提到漫威电影中特定超级英雄的概率。
OpenAI 的工具就是利用这种机制来分解模型的各个部分。首先，它会将文本序列输入到被评估的模型中，并等待某个神经元频繁地“激活”。然后，它会将这些高度活跃的神经元“展示”给 GPT-4，并让 GPT-4 生成一个解释。为了确定解释的准确性，它会提供给 GPT-4 一些文本序列，并让它预测或模拟神经元的行为。然后它会将模拟的神经元的行为与实际神经元的行为进行比较。
“通过这种方法，我们基本上可以为每个神经元生成一些初步的自然语言解释，并且还有一个分数来衡量这些解释与实际行为的匹配程度。” OpenAI 可扩展对齐团队负责人 Jeff Wu 说，“我们使用 GPT-4 作为过程的一部分，来生成对神经元在寻找什么的解释，并评估这些解释与它实际做什么的匹配程度。”
研究人员能够为 GPT-2 中所有 307,200 个神经元生成解释，并将它们编译成一个数据集，与工具代码一起在 GitHub 上以开源形式发布。像这样的工具有朝一日可能被用来改善语言模型的性能，比如减少偏见或有害言论。但他们也承认，在真正有用之前，还有很长的路要走。该工具对大约 1000 个神经元的解释很有信心，这只是总数的一小部分。
有人可能会认为，这个工具实际上是 GPT-4 的广告，因为它需要 GPT-4 才能运行。但 Wu 说，这并不是这个工具的目的，它使用 GPT-4 只是“偶然”的，而且，相反它显示了 GPT-4 在这方面的弱点。他还说，它并不是为了商业应用而创建的，并且理论上可以适应除了 GPT-4 之外的其他语言模型。
“大多数解释的分数都很低，或者没有解释太多实际神经元的行为。” Wu 说，“很多神经元的活动方式很难说清楚 —— 比如它们在五六种不同的东西上激活，但没有明显的模式。有时候有明显的模式，但 GPT-4 却无法找到。”
更不用说更复杂、更新、更大的模型，或者可以浏览网页获取信息的模型了。但对于后者，Wu 认为，浏览网页不会太改变工具的基本机制。他说，它只需要稍微调整一下，就可以弄清楚神经元为什么决定进行某些搜索引擎查询或访问特定网站。
“我们希望这将开辟一个有前途的途径，来以一种自动化的方式解决可解释性问题，让其他人可以建立在上面并做出贡献。” Wu 说，“我们希望我们真的能够对这些模型的行为有好的解释。”
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。