OpenAI加强安全措施，授权董事会否决危险AI的决策
生产中的模型由“安全系统”团队管理。开发中的前沿模型有“准备”团队，该团队会在模型发布之前识别和量化风险。然后是“超级对齐”团队，他们正在研究“超级智能”模型的理论指南将安全顾问小组重新组建，使其位于技术团队之上，以便向领导层提出建议，并给予董事会否决的权力OpenAI宣布，为了抵御有害人工智能的威胁，他们正在加强内部的安全流程。他们将设立一个名为“安全顾问小组”的新部门，该部门将位于技术团队之上，向领导层提供建议，并被授予董事会否决权。这一决定于当地时间12月18日宣布更新引起关注的原因主要是因为Ope
生产中的模型由“安全系统”团队管理。开发中的前沿模型有“准备”团队，该团队会在模型发布之前识别和量化风险。然后是“超级对齐”团队，他们正在研究“超级智能”模型的理论指南
将安全顾问小组重新组建，使其位于技术团队之上，以便向领导层提出建议，并给予董事会否决的权力
OpenAI宣布，为了抵御有害人工智能的威胁，他们正在加强内部的安全流程。他们将设立一个名为“安全顾问小组”的新部门，该部门将位于技术团队之上，向领导层提供建议，并被授予董事会否决权。这一决定于当地时间12月18日宣布
更新引起关注的原因主要是因为OpenAI首席执行官山姆·奥特曼被董事会解雇，而这似乎与大型模型的安全问题有关。在高层人事变动后，OpenAI董事会的两位“减速主义”成员伊尔亚·苏茨克维和海伦·托纳失去了董事会席位
在这篇文章中，OpenAI讨论了他们最新的“准备框架”，即OpenAI如何跟踪、评估、预测和防范日益强大的模型所带来的灾难性风险。灾难性风险的定义是什么？OpenAI解释道，“我们所说的灾难性风险是指可能导致数千亿美元经济损失，或者导致许多人严重伤害或死亡的风险，这也包括但不限于生存风险。”
有三组安全团队分别覆盖不同的时间框架和风险
根据OpenAI官网的资料，生产中的模型由“安全系统”团队负责管理。而在开发阶段，有一个名为“准备”的团队，他们会在模型发布之前识别和评估风险。此外，还有一个名为“超级对齐”（superalignment）的团队，他们正在研究“超级智能”（superintelligent）模型的理论指南
OpenAI团队将对每个模型根据四个风险类别进行评级，这四个类别分别是网络安全、说服能力（如虚假信息）、模型自主性（即自主行为能力）以及CBRN（化学、生物、放射性和核威胁，例如创造新病原体的能力）
OpenAI在假设中考虑了各种缓解措施：例如，该模型对于描述制作凝固汽油或管式炸弹的过程保持着合理的保留态度。在考虑已知的缓解措施后，如果一个模型仍然被评估为具有“高”风险，它将无法被部署，如果一个模型存在任何“关键”风险，将不会进一步开发
并非所有制作模型的人都是评估模型和提出建议的最佳人选。出于这个原因，OpenAI正在建立一个名为“跨职能安全咨询小组”的团队，该团队将从技术层面审查研究人员的报告，并从更高的角度提出建议，希望能够发现一些“未知的未知”
这个过程要求将这些建议同时发送给董事会和领导层，领导层将决定是否继续或停止运行，但董事会有权撤销这些决定。这样可以避免高风险产品或流程在董事会不知情的情况下获得批准
然而，外界仍然担心的是，如果专家小组提出建议，首席执行官根据这些信息做出决策，OpenAI的董事会是否真的有权利进行反驳并采取行动？如果他们这样做了，公众会听到相关声音吗？目前，除了OpenAI承诺征求独立第三方审计之外，他们的透明度问题实际上并没有得到真正的解决
OpenAI的“准备框架”包含以下五个关键要素：
1. 评估和打分
我们将对我们的模型进行评估，并持续更新我们的“记分卡”。我们将评估所有最新的模型，包括在训练期间将有效计算量增加两倍。我们将推动模型的极限。这些发现将有助于我们评估最新模型的风险，并衡量任何拟议的缓解措施的有效性。我们的目标是探测特定边缘的不安全因素，以有效地减轻风险。为了跟踪我们模型的安全水平，我们将制作风险“记分卡”和详细报告
要评估所有前沿模型，需要使用“记分卡”
设定风险阈值的目的是为了在进行决策和管理风险时能够有一个明确的界限。风险阈值是指在特定情况下，组织或个人愿意承受的最大风险水平。通过设定风险阈值，可以帮助组织或个人识别出何时需要采取行动来减轻风险或避免风险。风险阈值的设定应基于风险评估的结果、相关法规和政策以及组织或个人的风险承受能力。在设定风险阈值时，需要考虑到不同风险类型的特点和影响程度，以确保风险管理措施的有效性和适用性。最后，设定的风险阈值应定期进行评估和调整，以保持与组织或个人的风险管理目标相一致
我们将设定触发安全措施的风险阈值。我们根据以下初步追踪类别设定了风险级别的阈值：网络安全、CBRN（化学、生物、放射性、核威胁）、说服和模型自主。我们指定了四个安全风险级别，只有缓解后得分为“中”或以下的模型才能被部署；只有缓解后得分为“高”或以下的模型才能进一步开发。对于具有高风险或严重风险（缓解前）的模型，我们还将实施额外的安全措施
危险水平
重新设定监督技术工作和安全决策运营结构
我们将设立一个专门的团队来监督技术工作和安全决策的运营结构。准备团队将推动技术工作，以检查前沿模型的能力极限，并进行评估和综合报告。这项技术工作对于OpenAI安全模型的开发和部署决策至关重要。我们正在创建一个跨职能的安全咨询小组，以审查所有报告，并同时发送给领导层和董事会。尽管领导层是决策者，但董事会拥有推翻决定的权力
监督技术工作和安全决策运营结构的新变化
增强安全性和加强对外部问责制
我们将制定协议以提高安全性和外部责任。我们将定期进行安全演习，以压力测试我们的业务和自身文化。一些安全问题可能会迅速出现，因此我们有能力标记紧急问题以进行快速响应。我们认为，从OpenAI外部人员那里获得反馈并由合格的独立第三方进行审核是很有帮助的。我们将继续让其他人组成红队并评估我们的模型，并计划与外部共享更新
减少其他已知和未知的安全风险：
我们将协助减少其他已知和未知的安全风险。我们将与外部各方以及内部的安全系统等团队密切合作，以跟踪现实世界中的滥用情况。我们还将与“超级对齐”合作，跟踪紧急的错位风险。我们还开创了新的研究，以衡量风险随着模型规模扩展而演变的情况，并帮助提前预测风险，这类似于我们早期在规模法则方面取得的成功。最后，我们将进行连续的流程，以尝试解决任何新出现的“未知的未知”
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。