清华团队提出知识引导的图 Transformer 预训练框架：提高分子表征学习的方法
编辑|紫罗为了促进分子特性预测，在药物发现领域，学习有效的分子特征表征非常重要。最近，人们通过采用自监督学习技术，预先训练图神经网络（GNN）来克服数据稀缺的挑战。然而，目前基于自监督学习的方法存在两个主要问题：缺乏明确的自监督学习策略和GNN的能力有限近日，来自清华大学、西湖大学和之江实验室的研究团队，提出了知识引导的图Transformer预训练（Knowledge-guidedPre-trainingofGraphTransformer，KPGT），这是一种自监督学习框架，通过显著增强的分子表征学习
为了促进分子特性预测，在药物发现领域，学习有效的分子特征表征非常重要。最近，人们通过采用自监督学习技术，预先训练图神经网络（GNN）来克服数据稀缺的挑战。然而，目前基于自监督学习的方法存在两个主要问题：缺乏明确的自监督学习策略和 GNN 的能力有限
近日，来自清华大学、西湖大学和之江实验室的研究团队，提出了知识引导的图 Transformer 预训练（Knowledge-guided Pre-training of Graph Transformer，KPGT），这是一种自监督学习框架，通过显著增强的分子表征学习提供改进的、可泛化和稳健的分子特性预测。KPGT 框架集成了专为分子图设计的图 Transformer 和知识引导的预训练策略，以充分捕获分子的结构和语义知识。
通过对 63 个数据集进行广泛的计算测试，KPGT 在预测各个领域的分子特性方面表现出了卓越的性能。此外，通过鉴定两种抗肿瘤靶点的潜在抑制剂验证了 KPGT 在药物发现中的实际适用性。总体而言，KPGT 可以为推进 AI 辅助药物发现过程提供强大且有用的工具。
该研究以《A knowledge-guided pre-training framework for improving molecular representation learning》为题，于 2023 年 11 月 21 日发布在《Nature Communications》上。
通过实验确定分子特性需要大量时间和资源，鉴定具有所需特性的分子是药物发现领域最重大的挑战之一。近年来，基于人工智能的方法在预测分子特性方面发挥着越来越重要的作用。基于人工智能的分子特性预测方法的主要挑战之一是分子的表征
近年来，基于深度学习的方法的出现成为预测分子特性的潜在有用工具，主要是因为它们具有从简单输入数据中自动提取有效特征的卓越能力。值得注意的是，各种神经网络架构，包括循环神经网络（RNN）、卷积神经网络（CNN）和图神经网络（GNN）擅长对各种格式的分子数据进行建模，从简化的分子输入行输入系统（SMILES）到分子图像和分子图。然而，标记分子的有限可用性和化学空间的广阔限制了它们的预测性能，特别是在处理分布外数据样本时。
随着自监督学习方法在自然语言处理和计算机视觉领域取得的显著成就，这些技术已被应用于预训练 GNN 并改进分子的表征学习，从而在下游分子性质预测任务中取得了实质性的进展
研究人员假设将定量描述分子特征的额外知识引入自监督学习框架可以有效应对这些挑战。分子有许多定量特征，例如分子描述符和指纹，可以通过当前建立的计算工具轻松获得。整合这些额外的知识可以将丰富的分子语义信息引入自监督学习中，从而大大增强语义丰富的分子表征的获取。
通常，现有的自监督学习方法依赖于GNN作为核心模型。然而，GNN的模型容量有限。此外，GNN可能很难捕捉原子之间的远程交互。而基于Transformer的模型已经成为一种改变游戏规则的模型。它的特点是参数数量不断增加，并且能够捕捉到长程相互作用，为全面模拟分子的结构特征提供了有希望的途径
自监督学习框架 KPGT
在这项研究中，研究人员引入了一种名为 KPGT 的自监督学习框架，旨在加强分子表征学习，从而推动下游的分子属性预测任务。KPGT 框架由两个主要组件组成：一个被称为 Line Graph Transformer（LiGhT）的主干模型和一个知识引导的预训练策略。KPGT 框架结合了高容量的 LiGhT 模型，该模型专门用于准确建模分子图结构，并利用知识引导的预训练策略来捕捉分子结构和语义知识
研究团队使用ChEMBL29数据集中的约200万个分子，通过知识引导的预训练策略对LiGhT进行了预训练
重写内容为：图表：KPGT 概述。（资料来源：论文）
KPGT 在分子性质预测方面优于基线方法。与几种基线方法相比，KPGT 在 63 个数据集上取得了很大的进步。
此外，通过成功利用 KPGT 识别造血祖细胞激酶 1 (HPK1) 和成纤维细胞生长因子受体 (FGFR1) 两个抗肿瘤靶点的潜在抑制剂，展示了 KPGT 的实际应用性。
研究局限性
尽管 KPGT 在有效分子特性预测方面具有优势，但仍然存在一些局限性。
首先，附加知识的整合是所提方法最显著的特征。除了 KPGT 中使用的 200 个分子描述符和 512 个 RDKFP 之外，还有可能纳入各种其他类型的附加信息知识。 此外，进一步的研究可以将三维 (3D) 分子构象整合到预训练过程中，从而使模型能够捕获有关分子的重要 3D 信息，并有可能增强表征学习能力。 虽然 KPGT 目前采用具有大约 1 亿个参数的主干模型，以及对 200 万个分子的预训练，但探索更大规模的预训练可以为分子表征学习提供更实质性的好处。
总的来说，KPGT 为有效的分子表征学习提供了强大的自监督学习框架，从而推动了人工智能辅助药物发现领域的发展。
论文链接：https://www.nature.com/articles/s41467-023-43214-1
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。