Nat. Mach. Intell.|设计超高效疫苗，普林斯顿团队开发首个解码mRNA序列大模型
图来自网络编辑|ScienceAI普林斯顿王梦迪团队迎来了一项具有划时代意义的突破。该团队开发了世界首个解码mRNA非翻译区域序列的大模型，用于准确预测mRNA到蛋白质的转录功能，并设计新序列以应用于mRNA疫苗。这一突破有助于加速疫苗开发和设计，提高蛋白质转录的效率和准确性，为治疗和预防疾病提供新的可能性。该研究论文的题目是「A5’UTRLanguageModelforDecodingUntranslatedRegionsofmRNAandFunctionPredictions」，已被《NatureMa
图来自网络
编辑 | ScienceAI
普林斯顿王梦迪团队迎来了一项具有划时代意义的突破。该团队开发了世界首个解码mRNA非翻译区域序列的大模型，用于准确预测mRNA到蛋白质的转录功能，并设计新序列以应用于mRNA疫苗。这一突破有助于加速疫苗开发和设计，提高蛋白质转录的效率和准确性，为治疗和预防疾病提供新的可能性。
该研究论文的题目是「A 5’ UTR Language Model for Decoding Untranslated Regions of mRNA and Function Predictions」，已被《Nature Machine Intelligence》接收。
这篇论文意味着大语言模型可用于预测和设计mRNA疫苗，其中新设计的序列经过实验证实远高于传统疫苗的转录效率。人工智能和语言模型正在领军生物学和制药研究中的传统方法。
论文链接：https://www.nature.com/articles/s42256-024-00823-9
mRNA和mRNA疫苗
2023年诺贝尔生理学或医学奖授予了mRNA技术的两位奠基人—Katalin Karikó和Drew Weissman，表彰他们对mRNA机理研究和疫苗研发的奠基性，以及mRNA疫苗对人类健康的重大贡献。他们的研究不仅深化了我们对mRNA与免疫系统互动方式的理解，而且推动了mRNA疫苗开发的历史性突破。
mRNA，全名信使核糖核酸，是生物体内至关重要的遗传物质。mRNA是单链的碱基序列，从DNA转录而来，其作用是将DNA中的遗传信息转化为蛋白质的合成指令，通过翻译(translation)产生特定的蛋白质。mRNA如何转录？如何调控蛋白质的合成？这些是生物学领域中最重要的问题之一，通过研究mRNA，科学家们希望能解码生命的奥秘。
mRNA分为中间的编码区(coding region) 和两端的非编码区(untranslated region, or UTR)。编码区的碱基序列对应着目标蛋白质的氨基酸序列, 科学家们已经掌握了编码区域和蛋白质的序列对应关系。mRNA最神秘的部分是非编码区，尤其是前端的非编码区(5’ UTR)。原因在于mRNA的非编码区的碱基序列深度参与并调控了编码区序列的转录过程，非编码区碱基序列和细胞里其他分子交互，调控了蛋白质的表达, 合成效率, 以及本身的稳定性等。
因此，在mRNA疫苗设计中，精确设计其非编码区序列，将直接决定mRNA序列在细胞里的翻译效率，最终决定了疫苗的有效性。深入研究mRNA的非编码区是重要的生物学问题，不仅有助于揭示基因表达的复杂机制，而且在疫苗设计和疾病治疗策略的开发中起到了关键作用。
图 1：DNA-mRNA-蛋白质的转录翻译过程，及其mRNA的不同区域。(左图来自网络)
UTR-LM: 多模态mRNA非转录区域语言模型
RNA序列由四种碱基组成，即核苷酸腺嘌呤(A)、鸟嘌呤(G)、胞嘧啶(C)和尿嘧啶(U)组成，就像人类语言由一系列字母构成一样。这些核苷酸按照特定的规则排列，可以传达复杂生物功能的信息。
UTR-LM模型是一个针对mRNA非翻译区域研究而开发的语言模型。它基于transformer架构，通过类似学习自然语言的方式在核苷酸序列上进行自监督学习，并结合了二级结构(SS)和最小自由能(MFE)等多模态数据进行预训练。
为训练该模型，研究团队收集了多个数据库和不同物种的天然mRNA序列：包括Ensembl数据库，涵盖五个物种(人类、大鼠、小鼠、鸡和斑马鱼)；Sample等提出的八个合成序列库；以及Cao等早期工作整理的三个内源性人类数据集 (分别来自人类胚胎肾293T细胞、前列腺癌细胞和肌肉组织)。
图 2：mRNA非翻译区域语言模型。
在预训练后，研究团队针对多种mRNA翻译功能的预测任务进行了微调。平均核糖体负载量(MRL)、mRNA翻译效率(TE)和表达水平(EL)的预测对生物医学研究极为重要，因为这些指标直接决定了mRNA如何高效地被翻译成蛋白质，影响蛋白质产量和治疗蛋白质的开发。
在这些关键任务上，该mRNA非翻译区语言模型的表现(Spearman R)超过了六种最先进的基准方法，包括RNA-FM和RNABERT两种领先的RNA大语言模型。在平均核糖体负载量的预测上，该模型比Optimus高出高达9%，比FramePool高出高达6%，并且比RNAFM高达42%。对于mRNA翻译效率和表达水平的预测，该模型分别比Cao-RF高出高达5%和8%，而与Optimus相比则高出高达25%和47%。
此外，识别未注释的内部核糖体进入位点(IRES)对于理解和利用mRNA在细胞内非典型翻译启动机制至关重要，这对于开发新型治疗策略和疫苗具有重大意义。在这一挑战性领域，该模型也取得了显著进步，将AUPR从0.37提高到了0.52。这些结果清楚地表明，该模型在这些关键任务上的性能远超现有的先进方法，显示了其在mRNA非翻译区域序列预测领域的先进性。
这些成果突显了mRNA语言模型在生物学研究中的强大潜力。它不仅提升了对mRNA的非转录区域功能的预测精度，而且加深了我们对于mRNA的非转录区域在基因表达和翻译调控中作用的理解。凭借其先进的模型架构和全面的数据训练，mRNA非翻译区语言模型为生物学和医学研究领域提供了一个重要的科研工具，有助于推动这一领域的发展和创新。
图 3：内源性数据集中mRNA翻译效率和表达水平的预测性能(Spearman R)。数据集包括人类肌肉组织(Muscle)、前列腺癌细胞(PC3)和胚胎肾293T细胞(HEK)。(a) 在翻译效率预测方面，mRNA非翻译区域语言模型的性能最高比Cao-RF高出5%，比Optimus高达27%。(b)在表达水平预测方面，mRNA非翻译区域语言模型的性能最高比Cao-RF高出8%，比Optimus高达47%。配对t检测证明mRNA非翻译区域语言模型在这些任务上显著优于其他基准方法(p < 0.05)。
mRNA语言模型助力设计高效疫苗
在该研究中，研究团队设计了211条自然界中不存在的新mRNA非翻译区域序列，并测试这些新序列用于疫苗的潜力，目的是提高mRNA疫苗的翻译效率、并最大化蛋白质的合成量。
为了验证这些新序列的有效性，团队的合作伙伴RVAC公司采用了mRNA转染和荧光素酶实验。实验中，团队测量了疫苗的相对光单位(RLU)用于评估mRNA的蛋白质产量，从而直观地反映出新的mRNA序列设计对蛋白质合成过程的影响。实验结果十分优异。相较于已经广泛应用的传统mRNA疫苗序列，团队设计的新序列实现了高达32.5%的显著效率提升。
同时，研究团队还测试了该语言模型在新生物实验上的可迁移性。通过zero-shot learning (零样本适应性预测)，mRNA UTR语言模型在全新的任务上达到远高于其他方法的预测准确性。展现出了模型的优势和可迁移性。
这些实验结果不仅证实了新型RNA非转录区域序列设计的有效性，而且还彰显了机器学习技术在生物医药领域应用的巨大潜力。该研究给出了提高疫苗和治疗性蛋白质生产效率的新策略，为定制化药物设计和个性化治疗提供了新的途径。
图 4：211个新设计的mRNA非翻译区域的测试结果。(a)与28,246个内源性mRNA非翻译区域相比，新设计的mRNA非翻译区域具有更高的mRNA翻译效率预测值。(b)在湿实验中，该研究对比了前20个设计的mRNA非翻译区域与两种常用基准的翻译效率。(c)mRNA非翻译区域语言模型在预测准确性方面显著超越了现有的基准方法。
前景和结论
这项研究在Twitter上引起了生物学专家的广泛关注和讨论。他们高度评价了这个「mRNA的非转录区域的多物种语言模型」，并特别强调将机器学习应用于生物学数据分析的重要性。
专家们认为，目前生物学领域在这方面的研究还不够充分，而这项工作正好填补了这个空白，为未来的研究提供了新的方向和实验数据。北美和欧洲多个实验室也非常感兴趣向该研究团队发出了合作邀请。
图 5：生物学专家在Twitter上对「mRNA的非转录区域的多物种语言模型」给予积极评价，强调其在生物学研究中的创新应用。
同时，这个研究也吸引了业内公司的注意，biotech知名VC如FlagShip已和研究团队多次深入交流，努力复现这个方法。这项研究突显了AI for science的潜力。
mRNA技术已经在医学界引起了革命，这项针对名RNA的语言模型研究不仅提高了mRNA疫苗设计的效率和准确性，还标志着AI技术对于创新性科学和医学研究的推动、以及保障全球健康安全的巨大潜力。这一技术的广泛应用和更多突破，以推动科学的前进并改善人类健康。
作者简介
王梦迪就职于普林斯顿大学，任统计与机器学习中心、电气与计算机工程系副教授，其研究方向包括强化学习、生成人工智能、AI for Science和机器学习理论。
她于2013年在麻省理工学院获得计算机科学博士学位，曾任DeepMind、高等研究院和Simons理论计算机科学研究所的访问研究科学家。
王梦迪在2016年获得数学优化学会的青年研究者奖、2016年普林斯顿SEAS创新奖、2017年的NSF Career Award职业奖、2017年的谷歌研究奖、2018年的MIT科技评论35岁以下创新奖、2022年的WAIC云帆奖。
因其在在控制系统、机器学习和信息论等交叉学科的杰出贡献，她于2024年获得北美自动控制学会颁发的ACC Donald Eckman奖。她担任ICLR 2023的程序主席（PC）和Neurips、ICML、COLT等国际机器学习的高级区域主席（Senior AC），任Harvard Data Science Review, Operations Research等期刊的Associate Editor。
Jason Zhang曾在wave Life science, 诺华和赛诺菲有十五年工作经验，曾任RVAC首席科学家。
Jason持有化学和免疫学双博士学位，分别在协和医科大学的梁晓天院士和纽约大学的Dan Littman院士的指导下完成，并在耶鲁大学和哈佛大学完全了生物化学博士后研究。
他曾推动了近十个药物开发项目进入临床开发的不同阶段，并曾经成功筹集了超过1亿美元的资金。
在2023年11月，他携手诺贝尔医学奖获奖者Drew Weissman共同成立了Zipcode Bio。
Zipcode Bio定位于RNA技术的前沿，致力于推进下一代的RNA疫苗和疗法的研发。Zipcode Bio重视精准的体内靶向给药、成本效益以及消除对冷链物流的依赖，产品线覆盖了肺纤维化、自身免疫疾病以及癌症等重要领域。
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Autodesk Fusion 是面向产品设计与制造的云连接开发平台，在统一环境中整合三维 CAD、CAM、CAE、PCB、工程图、数据管理和团队协作功能，适合产品设计师、机械工程师、电子工程师及加工制造团队完成从概念建模、验证分析到生产交
Archicad 是 Graphisoft 面向建筑师、设计师、工程师及 BIM 团队开发的建筑信息模型平台。它把三维建筑建模、施工文档、数据管理、专业协调、实时协作和可视化集中在统一项目环境中，适合从概念方案到施工交付的完整建筑设计流程。
Vectorworks Architect 是面向建筑师、室内设计师和建筑顾问的综合设计与BIM平台，覆盖概念草图、二维制图、三维建模、施工文档、数据报表、可视化及开放式协作。它强调自由造型与数据化建筑对象并存，
Shapr3D 是一款基于 Siemens Parasolid 几何内核的专业三维CAD软件，可在 Windows 电脑和平板设备上完成草图绘制、实体建模、参数化修改、模型可视化及技术图纸制作。软件提供免费基础方案，
FreeCAD 是面向机械设计、产品开发、建筑建模和创客项目的免费开源参数化三维 CAD 工具。它可在 Windows 上完成约束草图、实体零件、装配、工程图、BIM、有限元分析及 CAM 等任务，
Twinmotion 是 Epic Games 推出的实时三维可视化工具，可导入常见 CAD、BIM 与三维模型，通过材质、环境、植被、灯光及动画资源快速构建场景，并输出图片、视频、全景图和交互演示。
BricsCAD 是以 DWG 为核心格式的专业 CAD 平台，可用于二维制图、三维建模、工程文档与设计协作。产品按 Lite、Pro、BIM、Mechanical 和 Ultimate 等层级提供不同工具，
Ableton Live 是面向音乐创作、录音、编曲、声音设计、混音与现场演出的数字音频工作站。它将适合即兴触发素材的 Session 视图与传统时间线编曲结合，并提供音频变速、MIDI工具、软件乐器、效果器和声音资源，
FL Studio 是 Image-Line 推出的数字音频工作站，面向音乐制作人、编曲者、歌手及声音设计人员。它将步进音序、钢琴卷帘、音频录制、剪辑、混音、自动化和插件宿主整合在统一环境中，并提供大量乐器、效果器、采样与预设。
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。