新标题：德国DZNE团队提出一种深度神经架构，能够在有数据限制的情况下训练高维因果结构

编辑 | 萝卜皮

因果学习是科学人工智能的一个重要挑战，因为它能帮助研究人员超越纯粹的相关或预测分析，学习潜在的因果关系，对于科学理解以及广泛的下游任务都非常重要

德国神经退行性疾病中心（German Center for Neurodegenerative Diseases，DZNE）的研究人员受到新兴生物医学问题的启发，提出了一种深度神经架构，用于学习变量之间的因果关系，这个架构结合了高维数据和先验因果知识

该团队将卷积神经网络和图神经网络结合在因果风险框架内，提供了一种在高维、噪声和数据限制条件下明显有效的方法，这些条件是许多应用（包括大规模生物学）的特征。

在研究中，研究人员发现所提出的方法能够有效地识别数千个变量中的新因果关系。研究结果包括广泛的模拟实验（包括线性和非线性模拟），其中基本事实是已知的并且可以直接进行比较，以及真实的生物学示例，其中模型应用于高维分子数据，并将其输出与完全看不见的验证实验进行比较。这些结果支持了深度学习方法可用于大规模学习因果网络的观点

该研究以「Deep learning of causal structures in high dimensions under data limitations」为题，于 2023 年 10 月 26 日发布在《Nature Machine Intelligence》。

在人工智能（AI）研究中，因果关系仍然是一个重要的开放领域。许多科学领域都需要识别变量之间的因果关系。在学习因果结构方面，已经有了许多丰富的工作，包括PC、LiNGAM、IDA、GIES、RFCI、ICP和MRCL等方法

通过将因果结构学习重新表述为连续优化问题，促进了将因果结构学习扩展到更大的问题，并且最近的神经方法（例如 SDI、DCDI、DCD-FG 和 ENCO）已经展示了最先进的性能。

尽管如此，学习因果结构仍然是非常关键的，尤其是在应对许多现实世界问题时。例如，面对高维度、有限的数据大小和隐藏变量等条件，我们仍然需要从数据中学习因果结构，虽然这可能带来一些挑战

在生物医学中，代表基因或蛋白质等实体之间相互作用的因果网络发挥着核心概念和实践作用。人们越来越多地认识到这种网络是依赖于环境的，并且被认为是疾病异质性和治疗反应变化的基础。

表征这种异质性的一个关键瓶颈在于大规模学习因果结构的挑战性，因为一般的方法论问题以及生物领域的相关方面，例如高维度、复杂的潜在事件、隐藏/未测量变量、有限数据和噪音水平的存在。

在最新的研究中，DZNE 的研究人员提出了一种因果学习的深层架构，该架构特别受高维生物医学问题的推动。该方法在新兴的因果风险范式中运作，使研究人员能够利用人工智能工具并扩展到涉及数千个变量的非常高维度的问题。

重写后的内容：学习者希望能够整合有关因果关系子集的部分知识，并且进一步探索超越已知知识的范围，以了解所有变量之间的关系。这种情况常见于科学研究，研究者在开始时可能已经获得了一些先验知识（来自之前的实验或科学背景），但他们希望通过学习涵盖所有可用变量的模型来拓展已知知识

图示：新的学习方案概念概述及其在大规模生物实验中的应用。（来源：论文）

大部分有关因果结构的学术文献都涉及学习模型。这些模型能够明确描述相关数据的生成模型，包括观察分布和干预分布，并且在这个意义上是“生成的”。最近的一系列研究采用了不同的方法，考虑了变量之间因果关系的学习指标，这可以被看作与因果风险的概念相关。举例来说，这样的指标可以编码变量A对B是否有因果影响，变量B对A是否有因果影响，或者两者都没有

DZNE 团队提出的方法称为「深度判别因果学习」（deep discriminative causal learning，D²CL），属于后一种风格。该团队考虑因果结构学习问题的一个版本，其中期望的输出由观察变量之间因果关系的二元指标组成，即具有用变量标识的节点的有向图。可用的多元数据 X 被转换以向神经网络 (NN) 提供输入，其输出是因果指标的估计。D²CL 在底层框架（基于因果风险而不是生成因果模型）和利用神经网络方面都不同于经典的因果结构学习方法。

该方法的假设本质上也不同于经典因果结构学习中的假设，并且涉及数据生成过程（方法）中的更高级别的规律性。最近的许多研究也利用神经方法来学习因果结构，并引入基于有向无环图（DAG）框架的连续优化框架的基础。

相比之下，D²CL 使用不基于 DAG 的基于风险的方法。DZNE 团队利用因果风险的概念来提出新的学习者。与 D²CL 一样，近期其他团队提出的 CSIvA 方法寻求将输入数据直接映射到图形输出。

从某种意义上说，这两种方法都追求数据输入到图形输出的「直接」映射，关键区别在于 CSIvA 使用元学习并寻求跨系统泛化，而 D²CL 使用监督学习来推广给定系统的新干预措施 （例如，感兴趣的生物系统）。

未来工作的一个重要方向可能是结合这两种方法，例如使用 CSIvA 为 D²CL 提供初始输入；这将结合一般的、基于模拟的学习和数据高效、针对特定系统的训练。

研究人员证明，特定情境的训练使 D²CL 能够成功学习一系列场景中的结构，包括具有挑战性的现实世界实验数据。此外，D²CL 显然可以扩展到大量变量（该团队展示了高达 p = 50,000 个节点的示例），并且适用于无法使用非常大的样本数据或强大的模拟引擎的情况。

目前，对于该研究中方法的理论特性仍然缺乏严格的理解。未来理论工作的一个重要方向是要了解底层系统的精确条件，以确保直接映射方法能够有效地恢复特定的因果结构

一个有趣的现象是，所提出的方法可能会受益于「维度的祝福」，因为随着维度 p 的增长，学习问题通常会享受到更多的例子。相反，与已建立的统计因果模型相反，DZNE 团队的方法（在当前阶段）不能在小 p 体系中使用，因为示例的数量对于深度学习来说太少了。

论文链接：https://www.nature.com/articles/s42256-023-00744-z