进化扩散驱动下的蛋白质生成：微软发布开源AI框架EvoDiff
进化产生了多种功能蛋白，可以精确调节细胞过程。近年来出现了深度生成模型，旨在从这种多样性中学习，生成既有效又新颖的蛋白质，最终目标是定制功能以解决当今突出的挑战。当涉及到在计算机上创造新的蛋白质时，深度生成模型正成为越来越强大的工具。扩散模型是一类生成模型，最近被证明可以生成生理上合理的蛋白质，与自然界中看到的任何实际蛋白质不同，它可以在从头蛋白质设计中提供无与伦比的能力和控制然而，当前最先进的模型构建蛋白质结构，这严重限制了其训练数据的广度，并将代限制在蛋白质设计空间的微小且有偏差的部分。微软研究人员开
进化产生了多种功能蛋白，可以精确调节细胞过程。近年来出现了深度生成模型，旨在从这种多样性中学习，生成既有效又新颖的蛋白质，最终目标是定制功能以解决当今突出的挑战。
当涉及到在计算机上创造新的蛋白质时，深度生成模型正成为越来越强大的工具。扩散模型是一类生成模型，最近被证明可以生成生理上合理的蛋白质，与自然界中看到的任何实际蛋白质不同，它可以在从头蛋白质设计中提供无与伦比的能力和控制
然而，当前最先进的模型构建蛋白质结构，这严重限制了其训练数据的广度，并将代限制在蛋白质设计空间的微小且有偏差的部分。
微软研究人员开发了 EvoDiff——一种通用扩散框架，通过将进化规模数据与扩散模型的独特调节能力相结合，可以在序列空间中创建可调节的蛋白质。EvoDiff 可以使结构合理的蛋白质多样化，涵盖所有可能的序列和功能。EvoDiff 可以构建基于结构的模型无法访问的蛋白质，例如那些具有无序部分的蛋白质，同时能够为有用的结构基序设计支架，这一事实证明了基于序列的公式的普遍性。
在蛋白质序列进化中，EvoDiff 是第一个展示扩散生成模型功效的深度学习框架。
EvoDiff 的共同作者、微软高级研究员 Ava Amini 表示：“从 EvoDiff 中我们可以学到的一点是，我们可以并且应该通过序列来生成蛋白质，因为我们能够实现通用性、规模化和模块化。我们的扩散框架使我们有能力做到这一点，并且可以控制我们如何设计这些蛋白质以满足特定的功能目标。”
EvoDiff 的另一位共同作者 Kevin K. Yang 表示，「我们设想 EvoDiff 将扩展蛋白质工程的能力，超越结构-功能范式，转向可编程、序列优先的设计，通过 EvoDiff，我们证明我们实际上可能不需要结构，而是『蛋白质序列就是你所需要的』来可控地设计新蛋白质。」
该研究以《Protein generation with evolutionary diffusion: sequence is all you need》为题，发布在 bioRxiv 预印平台上。
GitHub 地址：https://github.com/microsoft/evodiff
论文链接：https://doi.org/10.1101/2023.09.11.556673
6.4 亿个参数
EvoDiff 框架的核心是一个包含 6.4 亿个参数的模型，该模型根据来自所有不同物种和蛋白质功能类别的数据进行训练。训练模型的数据来源于用于序列比对的 OpenFold 数据集 UniRef50，UniProt 数据的子集，UniProt 联盟维护的蛋白质序列和功能信息数据库。
Uniref50是一个包含约4200万个蛋白质序列的数据集。其中的MSA来自OpenFold数据集，包括1600万个UniClust30集群和401,381个MSA，涵盖了140,000个不同的PDB链。关于IDR的信息来自反向同源GitHub
EvoDiff 的主要特征
EvoDiff的主要特征如下：
- 为了生成可管理的蛋白质序列，EvoDiff 将进化规模数据与扩散模型相结合。
- EvoDiff 可以使结构合理的蛋白质多样化，涵盖所有可能的序列和功能。
- 除了生成具有无序部分和基于结构的模型无法获得的其他特征的蛋白质外，EvoDiff 还可以生成功能性结构基序的支架，证明了基于序列的配方的普遍适用性。
EvoDiff 是一种新颖的生成建模系统，用于仅从序列数据创建可编程蛋白质，该系统是通过将进化规模数据集与扩散模型相结合而开发的。其使用离散扩散框架，其中正向过程通过改变其氨基酸特性来迭代地破坏蛋白质序列，并且由神经网络参数化的学习反向过程利用自然框架来预测每次迭代时所做的变化。蛋白质作为氨基酸语言上离散标记的序列。
图 1：EvoDiff，用于仅从序列数据进行可控蛋白质设计。（引自论文）
可以使用反向方法从头开始创建蛋白质序列。与蛋白质结构设计中传统使用的连续扩散公式相比，EvoDiff 中使用的离散扩散公式在数学上取得了显著的改进。多重序列比对 (MSA) 突出显示相关蛋白质组的氨基酸序列的保守模式和变异，从而捕获单个蛋白质序列进化规模数据集之外的进化联系。为了利用这种额外深度的进化信息，他们构建了在 MSA 上训练的离散扩散模型，以产生新颖的单一序列
在序列空间中创建可调节的蛋白质
为了证明可调蛋白质设计的有效性，研究人员对一系列生成活动的谱进行了序列和 MSA 模型的检查（分别为 EvoDiff-Seq 和 EvoDiff-MSA）
他们首先证明了EvoDiff-Seq能够可靠地产生高质量、多样化的蛋白质，准确地反映自然界蛋白质的组成和功能。EvoDiff-MSA通过比对具有相似但独特进化历史的蛋白质来引导新序列的开发。最后，他们表明EvoDiff可以可靠地生成具有IDR的蛋白质，直接克服基于结构的生成模型的关键限制，并且可以通过利用基于扩散的建模框架的调节功能，在没有任何明确结构信息的情况下成功生成功能结构基序的支架
图 2：EvoDiff-MSA 支持进化引导序列生成。（来源：论文）
为了生成具有基于序列限制条件调节的多样化新蛋白质，研究人员提出了一种名为EvoDiff的扩散建模框架。通过挑战基于结构的蛋白质设计范式，EvoDiff可以通过从序列数据生成本质上无序的区域和支架结构基序，无条件地采样结构合理的蛋白质多样性
通过引导进行调节，创建的序列可以迭代地调整以满足所需的质量，可以在未来的研究中添加到这些功能中。EvoDiff-D3PM 框架很适合通过指导进行条件调节，因为序列中每个残基的身份都可以在每个解码步骤中进行编辑。
然而，研究人员观察到，OADM 在无条件生成方面通常优于 D3PM，这可能是因为 OADM 去噪任务比 D3PM 更容易学习。不幸的是，OADM 和其他现有的条件 LRAR 模型（如 ProGen）降低了指导的有效性。预计新的蛋白质序列将通过调节 EvoDiff-D3PM 的功能目标（例如序列功能分类器描述的目标）来生成。
EvoDiff 数据要求极低
EvoDiff 的数据要求极低，这意味着它可以轻松适应后续用途，而这只有通过基于结构的方法才能实现。研究人员表明，EvoDiff 可以通过修复来创建 IDR，无需微调，从而避免了基于结构的预测和生成模型的经典陷阱。
图 3：EvoDiff 生成本质上无序的区域。（来源：论文）
使用AlphaFold和相关算法可以预测许多序列的结构，但在点突变方面存在困难，并且可能过于自信地指示虚假蛋白质的结构。然而，由于获取大型测序数据集结构的高昂成本，研究人员可能会受到限制，无法使用新的生物、医学或科学设计选项。为了解锁这些选项，可以通过在特定于应用程序的数据集上微调EvoDiff来进行。这些特定于应用程序的数据集可以来自显示库或大型屏幕的数据集
下一步计划
总之，微软科学家发布了一套离散扩散模型，可用于进行基于序列的蛋白质工程和设计。可以扩展 EvoDiff 模型以进行基于结构或功能的引导设计，并且它们可以立即用于无条件、进化引导和条件创建蛋白质序列。他们希望通过直接用蛋白质语言读取和写入过程，EvoDiff 将为可编程蛋白质创造开辟新的可能性。
「这只是一个包含 6.4 亿参数的模型，如果我们扩展到数十亿个参数，我们可能会看到生成质量的提高，」Alamdari 说道。「虽然我们演示了一些粗粒度的策略，但为了实现更细粒度的控制，我们希望根据文本、化学信息或其他方式来调节 EvoDiff 来指定所需的功能。」
EvoDiff团队计划在下一步中，对实验室生成的蛋白质进行测试，以确定其可行性。如果测试结果证明可行，他们将开始开发下一代框架
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。