有效融合语言模型、图神经网络，文本图训练框架GLEM实现新SOTA
主要单位：蒙特利尔算法学习人工智能实验室（Mila）、微软亚洲研究院等论文地址：https://arxiv.org/abs/2210.14709代码地址：https://github.com/andyjzhao/glem引言图1：(a)文本图(b)图神经网络(c)语言模型图是一种普遍的数据结构，建模了节点之间的结构关系。在现实生活中，许多节点包含丰富的文本特征，这种图被称为文本图(text-attributedgraph[2])。例如，论文引用网络中包含了论文的文本和论文之间的引用关系；
- 主要单位：蒙特利尔算法学习人工智能实验室（Mila）、微软亚洲研究院等
- 论文地址：https://arxiv.org/abs/2210.14709
- 代码地址：https://github.com/andyjzhao/glem
引言
图 1：(a) 文本图 (b) 图神经网络 (c) 语言模型
图是一种普遍的数据结构，建模了节点之间的结构关系。在现实生活中，许多节点包含丰富的文本特征，这种图被称为文本图 (text-attributed graph [2])。例如，论文引用网络中包含了论文的文本和论文之间的引用关系；社交网络中包含了用户的文本描述和用户直接的交互关系。在文本图上的表示学习模型，可以应用于节点分类、链路预测等任务中，具有广泛的应用价值。
文本图包含了两方面信息：节点的文本信息和节点之间的图结构信息。传统文本图的建模可以分为对文本建模和对图建模两个角度。其中，对文本的建模方式（如图 1.b 所示）通常采用基于 Transformer 的语言模型（LM）得到单个节点的文本表示，并对目标任务进行预测；对图建模的建模方式（图 1.c 所示）通常采用图神经网络（GNN），通过消息传播机制来建模节点特征之间的交互，并预测目标任务。
然而，两种模型只能分别建模文本图中的文本和图结构：传统语言模型无法直接考虑结构信息，而图神经网络无法直接对原始文本信息进行建模。为了同时建模文本和图结构，研究者们尝试将语言模型和图神经网络融合起来，同时更新两个模型的参数。但是，现有工作 [2, 3] 无法同时建模大量邻居文本，可拓展性差，无法应用在大文本图上。
GLEM 框架
为了更有效的融合图神经网络和语言模型，本文提出了 Graph and Language Learning by Expectation Maximization (GLEM) 框架。GLEM 框架基于变分期望最大算法（Variational EM），交替学习图神经网络和语言模型，从而获得了很好的可拓展性。
图 2：GLEM 框架
具体地，以节点分类任务为例，在 E 步 ， GLEM 根据真实标签和图神经网络预测的伪标签训练语言模型；在 M 步 ， GLEM 根据真实标签和语言模型预测的伪标签训练图神经网络。通过这种方式，GLEM 框架有效挖掘了局部的文本信息和全局的结构交互信息。通过 GLEM 框架训练好的图神经网络（GLEM-GNN）和语言模型（GLEM-LM）都可以用来预测节点标签。
实验
论文的实验部分主要从以下几个方面讨论 GLEM 框架：
- 有效性：GLEM 模型能够有效融合图神经网络和语言模型，对两种模型都有明显提升。GLEM 框架在 OGB 的三个文本图节点分类任务上取得了第一名。
- 可扩展性：通过交替训练图神经网络和语言模型，GLEM 框架可以同时训练大语言模型和深层 GNN。
- 无结构归纳推理（Structure-free inductive）能力：传统 GNN 模型在面对没有图结构的新节点时表现不佳。相比之下，GLEM-LM 仅使用文本特征（无需图结构）就能进行有效推理。
- 模型收敛：GLEM 使用 EM 迭代算法，在一些数据集上一次 EM 迭代即可收敛。
图 3：GLEM 框架在 OGBN-arxiv, products, papers100M 数据集上取得第一名
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。