个人笔记

本小节的示例均围绕以下知识图展开：

• 该示例数据描述了疾病、药物、不良事件和蛋白质之间的相互关系

1 推理的类型

常见的三种知识图推理类型：

• 单跳查询（one-hop queries），从起始节点经过一条边是否可以达到终止节点，即预测两个节点之间是否有边连接（示例：Fluvestrant 这种药物可能导致哪些不良反应？）
• 路径查询（path queries），从起始节点经过 n 条边是否可以达到终止节

Read more

1 知识图基本介绍

知识图（Knowledge graph）：以图的形式存储知识

• 节点表示实体（entitles），节点的标签可以是实体类型
• 节点之间的边表示两个实体之间的关系
• 所以知识图是异构图的一种特殊情况

知识图示例：生物知识图（蛋白质/药物/疾病/不良事件）

知识图应用：信息检索服务、问答和对话

常见的开源 KG ：知识图数据资源

这类知识图一般是百万级别的，存在很多边的缺失（考虑补齐）

比

Read more

1 异构图的定义与理解

异构图（Heterogeneous Graph），存在不同类型的节点和边

即节点和边至少有一个具有多种类型，常见于知识图谱的场景

举例：引文网络

• 节点的类型可以是作者（Author）或文章（Paper）
• 边的类型可以是引用（Cite）或类似（Like）

从异构图到标准图：

• 可以将节点和边的类型视为 one-hot 形式的特征，以此区分类型
• 比如将特征 [1, 0] 附加到每个“作者节点”；将特征 [0, 1] 附加到每个“纸节点”
• 但该方法不适用于不同类

Read more

1 计算图与邻域信息

关键问题：GNN 节点嵌入能否区分不同节点的局部邻域结构？

GNN 通过邻域定义的计算图生成节点嵌入：

• 节点 1 和节点 5，因其度数不同而具有不同的邻域结构信息
• 节点 1 和节点 2，具有相同的邻域结构信息；二者在图中是对称的
• 节点 1 和节点 4，其 2 跳邻居的信息存在差异（邻居的度不同）

由于 GNN 主要依赖节点特征，而不考虑节点 ID

因此 GNN 无法区分位置同构的节点（节点 1 和节点 2）

2 GNN 的模型表达能力

Read more

图训练的完整 Pipeline：

1 GNN 的预测

不同的任务级别需要不同的预测头（Prediction head）

1. 节点（node-level）级预测：直接使用 $d$ 维的节点嵌入 $h_v^{(L)}$ 进行预测

$$ \widehat{\boldsymbol{y}}_v=\mathrm{Head}_{\mathrm{node}}(\mathbf{h}_v^{(L)})=\mathbf{W}^{(H)}\mathbf{h}_v^{(L)} $$

2. 边（edge-level）级预测：使用

Read more

1 单层图神经网络

图神经网络（GNN）的通用框架：

• 可以发现，GNN 层的输入为一组向量，输出为单个向量
• 所以单层 GNN 的核心过程在于邻域信息的转换（1）和聚合（2）
• 在转换和聚合邻域信息时，还要注意考虑节点本身的信息保留

所以单层 GNN 的计算过程可表示如下： $$ \begin{aligned} \mathbf{m}_u^{(l)}&=\mathrm{MSG}^{(l)}\left(\math

Read more

1 深度学习基础

损失函数、梯度下降法族、基础神经元、 卷积神经网络

2 图神经网络的难点

图数据的复杂性：

• 存在任意大小和复杂的拓扑结构（不存在网格那样的空间局部性）
• 没有固定的节点顺序或参考点；通常是动态的并且具有多模式特征

直接将邻接矩阵或节点特征输入到传统神经网络的问题：

• $O(|V|)$ 级参数量，难以适用节点数较多的网络
• 无法适用不同尺寸的图/网络，传统网络对节点顺序敏感

置换不变性 vs 置换等价性

• 如果 $f(T(x))=f(x)$，则函数 $f(x)$ 对

Read more

1 图嵌入表示

传统图机器学习 VS 图表示学习

• 给定输入图，传统图机器学习需要提取节点、链接和图级特征；然后学习将特征映射到/预测标签的模型（SVM、普通神经网络等），并应用于下游任务
• 图表示学习则不需要额外特征工程，而是给定输入图，自动学习独立于任务的特征（节点、链接和图级嵌入表示），然后用于算法的训练学习和下游任务

嵌入表示的好处：

• 节点间嵌入的相似性表明了它们在网络中的相似性

Read more

1 课程简介

课程内容大纲：

• 图嵌入表示（Node Embedding）方法：DeepWalk，Node2vec
• 图神经网络（GNN）：GCN、GraphSAGE、GAT…
• 图自注意力（Graph Transformers）
• 知识图谱和推理：TransE，BetaE
• 图生成模型：GraphRNN
• 3D 图模型：Molecules
• 扩展到大规模的图数据
• 图应用：生物医学、科学技术

背景要求：机器学习、算法和图论、概率论与数理统计、Python/PyTorch

其他推荐工具：

• 基于 PyTorch 构建的图神经网络库

Read more