化学能力超GPT-4，首个化学领域百亿级大模型，思必驰、上交大、苏州实验室联合发布
编辑|ScienceAI2024年3月12日，思必驰-上海交大智能人机交互联合实验室、苏州实验室共同发布了首个针对化学科学的百亿级专业化大模型ChemDFM。这一模型不仅可以加快化学领域的研究进展，而且有望应用于药物研发、材料设计等领域。模型参数现已完全开源以帮助和促进大模型辅助化学科研领域的相关研究（https://huggingface.co/OpenDFM/ChemDFM-13B-v1.0）。此外，ChemDFM的研究论文也已作为相关领域的第一篇研究论文于arXiv预印本网站上公开发表。论文链接：h
编辑 | ScienceAI
2024年3月12日，思必驰-上海交大智能人机交互联合实验室、苏州实验室共同发布了首个针对化学科学的百亿级专业化大模型ChemDFM。这一模型不仅可以加快化学领域的研究进展，而且有望应用于药物研发、材料设计等领域。
模型参数现已完全开源以帮助和促进大模型辅助化学科研领域的相关研究（https://huggingface.co/OpenDFM/ChemDFM-13B-v1.0）。
此外，ChemDFM的研究论文也已作为相关领域的第一篇研究论文于arXiv预印本网站上公开发表。
论文链接：https://arxiv.org/abs/2401.14818
这篇论文介绍了一个基于经典开源大模型LLaMa的化学专有语言模型ChemDFM。该模型引入了海量的化学基础知识和前沿研究进展，充分学习并掌握了化学科学的专有语言和表达方式。最终，该模型拥有130亿的参数量，在大多数化学相关的应用中具有极强的能力和表现，甚至超越了目前公认最强大的模型GPT-4。
除了在进行一步的评测中ChemDFM显示出了其他类似模型几乎不符备的结合内部知识理解和分析产生分子的能力，实现了在面对陌生分子或者陌生反应时，结合相关的化学知识进行推理与回答。
模型构建
ChemDFM的构建主要由两个过程组成，领域预训练与指令微调，研究团队通过这两个阶段分别解决了大模型专业化过程中两个最主要的困难：通用大模型缺少专业知识以及难以理解专业语言。
通用数据所包括的化学专业知识是极其有限的，这导致了通用大模型所学习到的专业知识也极为有限。因此，研究团队收集整理了大量公开的论文数据，通过筛选最终得到了近400万篇化学及相关学科的论文。此外，考虑到论文更多的包含前沿和探索性的知识，研究团队还收集了大量化学课本及工具书等数据以提供基础性的知识。基于这些预料，研究团队构建了340亿词元的预料库对通用大模型LLaMa进行领域预训练。
除了专业知识外，具体的专业领域中往往包含迥异于自然语言的特殊表达方式或「语言」。在化学领域中，这一语言主要指的是化学分子与化学反应，他们所传达出的信息含量与密度往往远远高于自然语言。
为了帮助ChemDFM掌握化学分子与反应的理解能力，研究团队从最大的分子数据库之一——PubChem以及最大的化学反应数据库之一——USPTO中收集了大量的数据，围绕最常用的序列化表达三维分子的语法——SMILES，构建了170余万条的数据，覆盖了分子识别、性质预测、反应预测等多种不同的化学能力，用以ChemDFM的指令微调训练。
此外，自然语言的理解和对话能力是大模型能够处理和解决全新场景下的陌生问题的基础。因此，研究团队向领域预训练和指令微调的语料库中均引入了相当数量相应格式的通用数据，通过调整专业数据和通用数据的比例，最大限度的保持了ChemDFM的自然语言能力，实现了强大的结合化学知识分析陌生分子和陌生反应的能力。
客观评测
为了评估ChemDFM在化学领域的专业能力，研究团队在六种任务上对其进行了全方位的评测，全面的展示了ChemDFM在分子的识别、性质的预测、反应的理解等方面的能力，体现了模型解决化学专业问题的潜能。
评测结果显示，ChemDFM-13B在所有评测的任务中均表现优异，成绩远超LLaMa、Galactica等同等以上规模的开源大模型，在大多数任务上的成绩超过了GPT-4。考虑到GPT-4可能的模型规模，可以认为ChemDFM在化学专业领域内具有强大的理解、分析与推理能力。
主观评测
大模型辅助科学研究（AI for Science）的终极目标之一是构建能够辅助科研人员工作的智能体。要想达到这个目标，具有在真实场景下进行自由发散的对话形式人机合作的能力是必不可少的。
因此，仅能理解化学知识与化学分子是不够的，模型还需要能够识别并理解陌生分子与陌生化学反应，并运用学习到的化学知识进行分析推理。
为了验证ChemDFM及相关模型的这项能力，研究团队结合最新发表的化学论文构建了包含陌生分子与陌生反应的具体问题向大模型进行了提问，下图中展示了部分示例。
评测结果显示，同等规模以上的开源大模型仅能理解并「记忆」相关的化学知识，当问题中包含了陌生的分子或反应时，难以生成针对性的解答，更不能对相关过程背后的反应机理进行分析。
GPT-4能够在一定程度上结合具体情况做出分析，但由于GPT-4的闭源性，无法判断训练数据中是否包含相关分子或类似问题。
而ChemDFM在很好的在分析理解题目中出现的陌生分子及反应的基础上，结合学习到的化学知识进行了具体的分析和解答，并成功的给出了相应问题解答中的关键点，且会进一步尝试分析反应机理。即使机理分析存在一定的细节错误，ChemDFM还是能总体上给出正确的答案。
综上，本项评测仅有ChemDFM显示出结合化学知识对陌生分子和反应进行分析和推理并最终给出有针对性的解答的能力。
此外，ChemDFM还针对自由发散的人机对话进行了评测。在根据最新文献构建出的陌生科研情景下，ChemDFM给出了自己的建议，并根据人类的反馈进行了改进或细化，初步展示出了作为科研助手辅助科学研究的潜力。
总结和展望
ChemDFM不仅在多项不同角度的化学领域专业问题上显著提升了大模型的性能，同时展现出了在陌生场景下的自由发散的对话形式交互的强大能力。
ChemDFM初步实现了真正意义上的化学领域通用人工智能，为大模型辅助科学研究的进一步发展开启了新的探索方向和角度。
相信基于ChemDFM的进一步探索和完善，例如多模态的引入、领域工具的调用、幻觉的减少等，将加速智能化学科研助手的出现及自动化智能化的化学研究发展，从而缩短研发周期，降低研发成本，并最终助力药学、材料学等相关学科的全过程智能化以及高质高效的发展，创造不可忽视的社会效益。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。
Cubase 是 Steinberg 推出的数字音频工作站，提供 MIDI 编曲、多轨录音、音频编辑、虚拟乐器、效果处理、自动化、混音和母带输出工具。其 Pro、Artist 与 Elements 版本面向不同预算和制作规模，