个人笔记

1 深度学习基础

损失函数、梯度下降法族、基础神经元、 卷积神经网络

2 图神经网络的难点

图数据的复杂性：

• 存在任意大小和复杂的拓扑结构（不存在网格那样的空间局部性）
• 没有固定的节点顺序或参考点；通常是动态的并且具有多模式特征

直接将邻接矩阵或节点特征输入到传统神经网络的问题：

• $O(|V|)$ 级参数量，难以适用节点数较多的网络
• 无法适用不同尺寸的图/网络，传统网络对节点顺序敏感

置换不变性 vs 置换等价性

• 如果 $f(T(x))=f(x)$，则函数 $f(x)$ 对

Read more

1 图嵌入表示

传统图机器学习 VS 图表示学习

• 给定输入图，传统图机器学习需要提取节点、链接和图级特征；然后学习将特征映射到/预测标签的模型（SVM、普通神经网络等），并应用于下游任务
• 图表示学习则不需要额外特征工程，而是给定输入图，自动学习独立于任务的特征（节点、链接和图级嵌入表示），然后用于算法的训练学习和下游任务

嵌入表示的好处：

• 节点间嵌入的相似性表明了它们在网络中的相似性

Read more

1 课程简介

课程内容大纲：

• 图嵌入表示（Node Embedding）方法：DeepWalk，Node2vec
• 图神经网络（GNN）：GCN、GraphSAGE、GAT…
• 图自注意力（Graph Transformers）
• 知识图谱和推理：TransE，BetaE
• 图生成模型：GraphRNN
• 3D 图模型：Molecules
• 扩展到大规模的图数据
• 图应用：生物医学、科学技术

背景要求：机器学习、算法和图论、概率论与数理统计、Python/PyTorch

其他推荐工具：

• 基于 PyTorch 构建的图神经网络库

Read more