CS224W 图机器学习17:链接预测和因果关系

1 因果关系介绍

因果关系的三个阶段(由易到难):

  1. 关联性 Associational:传统 ML 任务,根据输入 X 预测输出 Y
  2. 干预性 Interventional:预测干预效果,根据动作 X 预测效果 Y
  3. 反事实 Counterfactual:对“已经发生”的事件,进行干预效果的想象

因果 DAG(有向无环图):使用图来表示因果关系

用于决策干预的链路预测任务(比如搜索或推荐)往往是存在因果关系的

因果关系在决策中的示例:

  • 上图中,$X_i$ 表示第 $i$ 个房子的特征,$Y_i$ 表示第 $i$ 个房子的价格,$W_i$ 表示房主是否准备出售房子;实线表示因果关系,虚线表示由父节点决定的相关性
  • 一般情况下,模型可以根据市场上的待售房屋的信息和报价,来预估个人的房屋价格;但实际应用时,房主的出售行为 $W_i$ 是房屋属性 $X_i$ 和价格 $Y_i$ 的混杂因子;存在出售行为的房主也会通过改善房屋属性,以期望更高的房屋售价

Zillow 公司由于过度依赖预测房价进行房产的购买,导致了约 3 亿的季度损失

2 因果关系在图中的应用

图 OOD(out-of-distribution) 学习:

  • 任务是具备关联性的,训练集分布和测试集分布是相关的
  • 但学习过程是反事实的,分类器需要对未见过的图进行合理预测
  • 数据增强问题也是类似的:在不改变类标签的情况下放大图

解决思路:基于图结构的因果模型 (SCM)

  • SCM 模型假设训练和测试数据由不同的环境变量 $E$ 控制,并且环境变量对目标变量 $Y$ 的影响是恒定;模型通过环境变量的变化来模拟分布的偏移
  • SCM 模型的图表示方法旨在捕捉与环境变量无关的图结构特征,并引入正则项来增强模型对环境变化的鲁棒性,使得模型能够在训练和测试环境之间进行有效的外推

最终实验表明,SCM 模型($\Gamma_{GNN}$)的图表示能应对图的 OOD 问题

3 因果提升与链接预测

链接预测:用于决策的链接预测通常是一项因果任务

传统的链接预测因果模型假设节点初始化时的固有特征,控制着图中链接的因果演化;但在某些因果任务中,链接形成是路径依赖的,即过去的链接影响未来链接

因果提升度(Causal Lifting):在因果模型中引入的一种独立于链接预测任务的不变性概念,允许模型在有限的干预数据下进行因果链接预测

基于因果提升度的链接预测

  • 对于因果链接预测的学习任务来说,训练的关键是寻找到图结构中的对称性,而不是传统图学习任务中寻找图中相似关系的节点位置
  • 结构化配对嵌入(Structural Pairwise Embeddings),在因果链接预测任务中呈现较低的学习偏差并从任务中捕获正确的因果结构

注:因果提升的论文涉及概念较多,本笔记未做深层次的解读

往年同期文章