Llama分子嵌入优于GPT，LLM能理解分子吗？这一局Meta赢了OpenAI
编辑|萝卜皮OpenAI的GPT和MetaAI的Llama等大型语言模型（LLM）因其在化学信息学领域的潜力而日益受到认可，特别是在理解简化分子输入行输入系统（SMILES）方面。这些LLM还能够将SMILES字符串解码为矢量表示。加拿大温莎大学（UniversityofWindsor）的研究人员比较了GPT和Llama与SMILES上的预训练模型在下游任务中嵌入SMILES字符串的性能，重点关注两个关键应用：分子特性预测和药物-药物相互作用预测。该研究以「Canlargelanguagemodelsun
OpenAI 的 GPT 和 Meta AI 的 Llama 等大型语言模型（LLM）因其在化学信息学领域的潜力而日益受到认可，特别是在理解简化分子输入行输入系统（SMILES）方面。这些 LLM 还能够将 SMILES 字符串解码为矢量表示。
加拿大温莎大学（University of Windsor）的研究人员比较了 GPT 和 Llama 与 SMILES 上的预训练模型在下游任务中嵌入 SMILES 字符串的性能，重点关注两个关键应用：分子特性预测和药物-药物相互作用预测。
该研究以「Can large language models understand molecules?」为题，于 2024 年 6 月 25 日发布在《BMC Bioinformatics》。
分子嵌入是药物发现中至关重要的任务，广泛应用于分子性质预测、药物-靶标相互作用 (DTI) 预测和药物-药物相互作用 (DDI) 预测等相关任务中。
2. 分子嵌入技术
分子嵌入技术可从编码分子结构连接信息的分子图或其结构的线注释中学习特征，例如流行的 SMILES 表示。
3. SMILES 字符串中的分子嵌入
通过 SMILES 字符串进行分子嵌入与语言建模的进步同步发展，从静态词嵌入到情境化的预训练模型。这些嵌入技术旨在以紧凑的数值表示形式捕获相关结构和化学信息。
基本假设认为结构相似的分子行为方式相似。这使得机器学习算法能够处理和分析分子结构，以进行属性预测和药物发现任务。
随着 LLM 的突破，一个突出的问题是 LLM 是否能够理解分子并根据分子数据进行推断？
更具体地说，LLM 能否产生高质量的语义表示？
温莎大学的 Shaghayegh Sadeghi、Alioune Ngom Jianguo Lu 等人进一步探索了这些模型有效嵌入 SMILES 的能力。目前，这一能力尚未得到充分探索，部分原因可能是 API 调用的成本。
研究人员发现，使用 Llama 生成的 SMILES 嵌入在分子特性和 DDI 预测任务中的表现都优于 GPT 生成的 SMILES 嵌入。
值得注意的是，基于 Llama 的 SMILES 嵌入在分子预测任务中表现出与 SMILES 上的预训练模型相当的结果，且在 DDI 预测任务中优于预训练模型。
据此，团队得出的结论如下：
（1）LLM 的表现确实优于传统方法。（2）性能取决于任务，有时也取决于数据。（3）即使针对更通用的任务进行训练，LLM 的新版本确实比旧版本有所改进。（4）Llama 的嵌入总体上优于 GPT 嵌入。（5）此外，观察到 Llama 和 Llama2 在嵌入性能方面非常接近。
该团队特别推荐 Llama 模型而不是 GPT，因为它们在从 SMILES 字符串生成分子嵌入方面具有卓越的性能。这些发现表明 Llama 在预测分子特性和药物相互作用方面可能特别有效。
虽然 Llama 和 GPT 等模型并非专门为 SMILES 字符串嵌入而设计（与 ChemBERTa 和 MolFormer-XL 等专业模型不同），但它们仍然表现出了竞争力。该工作为将来改进 LLM 分子嵌入奠定了基础。
未来，该团队将侧重于提高由自然语言句子嵌入技术启发而来的 LLM 分子嵌入的质量，例如对 Llama 标记化的微调和修改。
GitHub：https://github.com/sshaghayeghs/LLaMA-VS-GPT
论文链接：https://bmcbioinformatics.biomedcentral.com/articles/10.1186/s12859-024-05847-x
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。