有效融合语言模型、图神经网络，文本图训练框架GLEM实现新SOTA
主要单位：蒙特利尔算法学习人工智能实验室（Mila）、微软亚洲研究院等论文地址：https://arxiv.org/abs/2210.14709代码地址：https://github.com/andyjzhao/glem引言图1：(a)文本图(b)图神经网络(c)语言模型图是一种普遍的数据结构，建模了节点之间的结构关系。在现实生活中，许多节点包含丰富的文本特征，这种图被称为文本图(text-attributedgraph[2])。例如，论文引用网络中包含了论文的文本和论文之间的引用关系；
- 主要单位：蒙特利尔算法学习人工智能实验室（Mila）、微软亚洲研究院等
- 论文地址：https://arxiv.org/abs/2210.14709
- 代码地址：https://github.com/andyjzhao/glem
引言
图 1：(a) 文本图 (b) 图神经网络 (c) 语言模型
图是一种普遍的数据结构，建模了节点之间的结构关系。在现实生活中，许多节点包含丰富的文本特征，这种图被称为文本图 (text-attributed graph [2])。例如，论文引用网络中包含了论文的文本和论文之间的引用关系；社交网络中包含了用户的文本描述和用户直接的交互关系。在文本图上的表示学习模型，可以应用于节点分类、链路预测等任务中，具有广泛的应用价值。
文本图包含了两方面信息：节点的文本信息和节点之间的图结构信息。传统文本图的建模可以分为对文本建模和对图建模两个角度。其中，对文本的建模方式（如图 1.b 所示）通常采用基于 Transformer 的语言模型（LM）得到单个节点的文本表示，并对目标任务进行预测；对图建模的建模方式（图 1.c 所示）通常采用图神经网络（GNN），通过消息传播机制来建模节点特征之间的交互，并预测目标任务。
然而，两种模型只能分别建模文本图中的文本和图结构：传统语言模型无法直接考虑结构信息，而图神经网络无法直接对原始文本信息进行建模。为了同时建模文本和图结构，研究者们尝试将语言模型和图神经网络融合起来，同时更新两个模型的参数。但是，现有工作 [2, 3] 无法同时建模大量邻居文本，可拓展性差，无法应用在大文本图上。
GLEM 框架
为了更有效的融合图神经网络和语言模型，本文提出了 Graph and Language Learning by Expectation Maximization (GLEM) 框架。GLEM 框架基于变分期望最大算法（Variational EM），交替学习图神经网络和语言模型，从而获得了很好的可拓展性。
图 2：GLEM 框架
具体地，以节点分类任务为例，在 E 步 ， GLEM 根据真实标签和图神经网络预测的伪标签训练语言模型；在 M 步 ， GLEM 根据真实标签和语言模型预测的伪标签训练图神经网络。通过这种方式，GLEM 框架有效挖掘了局部的文本信息和全局的结构交互信息。通过 GLEM 框架训练好的图神经网络（GLEM-GNN）和语言模型（GLEM-LM）都可以用来预测节点标签。
实验
论文的实验部分主要从以下几个方面讨论 GLEM 框架：
- 有效性：GLEM 模型能够有效融合图神经网络和语言模型，对两种模型都有明显提升。GLEM 框架在 OGB 的三个文本图节点分类任务上取得了第一名。
- 可扩展性：通过交替训练图神经网络和语言模型，GLEM 框架可以同时训练大语言模型和深层 GNN。
- 无结构归纳推理（Structure-free inductive）能力：传统 GNN 模型在面对没有图结构的新节点时表现不佳。相比之下，GLEM-LM 仅使用文本特征（无需图结构）就能进行有效推理。
- 模型收敛：GLEM 使用 EM 迭代算法，在一些数据集上一次 EM 迭代即可收敛。
图 3：GLEM 框架在 OGBN-arxiv, products, papers100M 数据集上取得第一名
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
AirBuddy 3 是面向 macOS 的蓝牙外设增强工具，可集中查看 AirPods、Beats 与苹果设备电量，提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。
AirServer macOS版可把 Mac 转换为无线投屏接收端，通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面，并支持多设备同时连接、高清镜像及会话录制，适合家庭娱乐、课堂教学、会议演示和应用展示。
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
AirServer Windows版可把电脑变成AirPlay、Google Cast和Miracast无线投屏接收端，适合会议演示、课堂教学及家庭大屏分享。发送设备通常无需另装客户端，并可同时接收和智能排列多个镜像会话。