快了一个0！Meta祭出150亿参数蛋白质大模型，碾压AlphaFold2
迄今为止规模最大的蛋白质语言模型问世了！一年前，DeepMind开源AlphaFold2连登Nature、Science，刷爆生物和AI学界。一年后，Meta带着速度快一个数量级的ESMFold来了。不光速度快，模型还足足有150亿个参数。LeCun发推称赞，这是Meta-FAIR蛋白质团队的伟大新成果。共同一作ZemingLin透露，30亿参数的大模型在256个GPU上训练了3个星期，而ESMfold在128个GPU上用了10天。至于150亿参数的版本，目前还不清楚。他还表示，代码随后肯定会开源，敬请
迄今为止规模最大的蛋白质语言模型问世了！
一年前，DeepMind开源AlphaFold2连登Nature、Science，刷爆生物和AI学界。
一年后，Meta带着速度快一个数量级的ESMFold来了。
不光速度快，模型还足足有150亿个参数。
LeCun发推称赞，这是Meta-FAIR蛋白质团队的伟大新成果。
共同一作Zeming Lin透露，30亿参数的大模型在256个GPU上训练了3个星期，而ESMfold在128个GPU上用了10天。至于150亿参数的版本，目前还不清楚。
他还表示，代码随后肯定会开源，敬请关注！
又大又快！
今天，我们的主角是ESMFold，一个从蛋白质个体的序列，直接进行高准确度、端对端、原子层级结构预测的模型。
论文地址：https://www.biorxiv.org/content/10.1101/2022.07.20.500902v1
150亿个参数带来的好处不必多说——通过训练，如今的大模型可以在原子大小的精度上预测蛋白质的三维结构。
从准确度上看，ESMFold和AlphaFold2、RoseTTAFold差不多。
但是，ESMFold推测速度要比AlphaFold2快一个数量级！
一下说数量级可能不好理解三者之间速度的对比，看看下面这张图就懂了。
有啥区别？
虽说AlphaFold2和RoseTTAFold在原子分辨率结构预测问题上取得了突破性的成功，但它们也依赖于使用多序列比对（MSA）和类似的蛋白质结构模板来实现最佳性能。
相比之下，通过利用语言模型的内部表征，ESMFold只用一个序列作为输入就能生成相应的结构预测，从而大大加快了结构预测的速度。
研究人员发现，ESMFold对低复杂度序列的预测与当下最先进的模型相当。
而且，结构预测的准确性与语言模型的复杂度息息相关，也就是说，当语言模型能更好地理解序列时，便可以更好地理解结构。
目前，有数十亿结构和功能未知的蛋白质序列，其中许多来自元基因组测序。
利用ESMFold，研究人员只需6个小时，就能折叠完成100万个元基因组序列的随机样本。
其中很大一部分具有高置信度，并且与任何已知的结构不同（在数据库中没有记录）。
研究人员认为，ESMFold可以帮助理解那些超出现有认知的蛋白质结构。
此外，由于ESMFold的预测速度比现有的模型快一个数量级，因此研究人员便可借助ESMFold来协助填补快速增长的蛋白质序列数据库与进展缓慢的蛋白质结构和功能数据库之间的鸿沟。
150亿参数的蛋白质语言模型
接下来我们就来具体说说Meta这款全新的ESMFold。
ESM-2是一个基于Transformer的语言模型，并使用注意力机制来学习输入序列中成对氨基酸之间的相互作用模式。
相对于上一代模型ESM-1b，Meta对模型结构、训练参数进行了改进，并增加了计算资源和数据。同时，相对位置嵌入的加入，使模型能够推广到任意长度的序列。
从结果来看，具有1.5亿个参数的ESM-2模型比具有6.5亿个参数的ESM-1b模型表现得更好。
此外，在结构预测的基准上，ESM-2也超过了其他的蛋白质语言模型。这种性能的提高与大型语言建模领域建立的规律是一致的。
随着ESM-2规模的增加，可以观察到语言建模的精度有很大的提高。
端到端的单序列结构预测
SMFold和AlphaFold2的一个关键区别是，ESMFold使用语言模型表示，消除了对明确的同源序列（以MSA的形式）作为输入的需要。
ESMFold通过用一个处理序列的Transformer模块取代处理MSA的计算昂贵的网络模块，简化了AlphaFold2中的Evoformer。这种简化意味着ESMFold的速度大大提高，远高于基于MSA的模型。
折叠主干的输出接下来又被一个结构模块处理，它负责输出最终的原子级结构和预测的置信度。
研究人员将ESMFold与AlphaFold2和RoseTTAFold在CAMEO（2022年4月至2022年6月）和CASP14（2020年5月）测试集上进行比较。
当只给单一序列输入时，ESMFold的表现要比Alphafold 2好得多。
而当使用完整的管道时，AlphaFold2在CAMEO和CASP14上分别达到了88.3和84.7。ESMFold在CAMEO上取得了与RoseTTAfold相当的准确率，其平均TM分数为82.0。
结论
研究人员发现，以无监督学习为目标的语言模型在一个大型的进化多样化的蛋白质序列数据库中训练，能够对蛋白质结构进行原子级的分辨率预测。
将语言模型的参数扩大到15B，就可以系统地研究规模对蛋白质结构学习的影响。
我们看到，蛋白质结构预测的非线性曲线是模型规模的函数，并且观察到了语言模型对序列的理解程度与结构预测之间的强烈联系。
ESM-2系列的模型是迄今为止训练的最大的蛋白质语言模型，其参数仅比最近开发的最大文本模型少一个数量级。
而且，ESM-2比以前的模型有非常大的改进，即使在150M的参数下，ESM-2也比ESM-1代语言模型在6.5亿的参数下捕捉到更准确的结构图。
研究人员表示，ESMFold性能的最大驱动力是语言模型。由于语言模型的迷惑性和结构预测的准确性之间有很强的联系，他们发现当ESM-2能较好地理解蛋白质序列时，就可以获得与目前最先进的模型相当的预测结果。
ESMFold获得了准确的原子分辨率结构预测，推理时间还比AlphaFold2快了一个数量级。
在实践中，速度的优势甚至还要更大。因为ESMFold不需要搜索和进化相关的序列来构建MSA。
虽说有更快的方法可以减少搜索时间，但再怎么减少还是可能会很长。
而推理时间的极大缩短带来的利好不言自明——速度的提高将使绘制大型元基因组学序列数据库的结构空间成为可能。
除了基于结构的工具来识别远端同源性和保护性之外，用ESMFold进行快速准确的结构预测，还能在大量新序列集合的结构和功能分析中发挥重要作用。
在有限的时间内获得数以百万计的预测结构，有利于发现对天然蛋白质的广度和多样性的新认识，并能发现全新的蛋白质结构和蛋白质功能。
作者介绍
本文的共同一作是来自Meta AI的Zeming Lin。
据个人主页介绍，Zeming在纽约大学攻读博士学位，并在Meta AI担任研究工程师（访问），主要负责后端基础设施的工作。
他本硕都就读于弗吉尼亚大学，在那里，他和Yanjun Qi大佬一同做有关机器学习应用的研究，尤其是在蛋白质结构预测方面。
感兴趣的领域为深度学习、结构预测，以及信息生物学。
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Premiere Pro 是面向专业视频制作的非线性剪辑软件，提供多轨时间线、调色、音频处理、字幕、代理工作流和多格式输出能力，并可与 After Effects、Audition、Photoshop 及 Frame.io 协同
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。