分类目录归档:课程

CS224W 图机器学习08:知识图的学习

1 知识图基本介绍

知识图(Knowledge graph):以图的形式存储知识

  • 节点表示实体(entitles),节点的标签可以是实体类型
  • 节点之间的边表示两个实体之间的关系
  • 所以知识图是异构图的一种特殊情况

知识图示例:生物知识图(蛋白质/药物/疾病/不良事件)

知识图应用:信息检索服务、问答和对话

常见的开源 KG :0_life/精品资源/数据资源/知识图数据资源

这类知识图一般是百万级别的

Read more

CS224W 图机器学习07:异构图的学习

1 异构图的定义与理解

异构图(Heterogeneous Graph),存在不同类型的节点和边

即节点和边至少有一个具有多种类型,常见于知识图谱的场景

举例:引文网络

  • 节点的类型可以是作者(Author)或文章(Paper)
  • 边的类型可以是引用(Cite)或类似(Like)

从异构图到标准图:

  • 可以将节点和边的类型视为 one-hot 形式的特征,以此区分类型
  • 比如将特征 [1, 0] 附加到每个“作者节点”;将特征 [0, 1] 附加到每个“纸节点”
  • 但该方法不适用于不同类

Read more

CS224W 图机器学习06:GNN 的理论理解

1 计算图与邻域信息

关键问题:GNN 节点嵌入能否区分不同节点的局部邻域结构?

GNN 通过邻域定义的计算图生成节点嵌入:

  • 节点 1 和节点 5,因其度数不同而具有不同的邻域结构信息
  • 节点 1 和节点 2,具有相同的邻域结构信息;二者在图中是对称的
  • 节点 1 和节点 4,其 2 跳邻居的信息存在差异(邻居的度不同)

由于 GNN 主要依赖节点特征,而不考虑节点 ID

因此 GNN 无法区分位置同构的节点(节点 1 和节点 2)

2 GNN 的模型表达能力

Read more

CS224W 图机器学习05:GNN 的训练与预测

图训练的完整 Pipeline:

1 GNN 的预测

不同的任务级别需要不同的预测头(Prediction head)

  1. 节点(node-level)级预测:直接使用 $d$ 维的节点嵌入 $h_v^{(L)}$ 进行预测

$$ \widehat{\boldsymbol{y}}_v=\mathrm{Head}_{\mathrm{node}}(\mathbf{h}_v^{(L)})=\mathbf{W}^{(H)}\mathbf{h}_v^{(L)} $$

  1. 边(edge-level)级预测:使用

Read more

CS224W 图机器学习04:GNN 深入理解

1 单层图神经网络

图神经网络(GNN)的通用框架:

  • 可以发现,GNN 层的输入为一组向量,输出为单个向量
  • 所以单层 GNN 的核心过程在于邻域信息的转换(1)和聚合(2)
  • 在转换和聚合邻域信息时,还要注意考虑节点本身的信息保留

所以单层 GNN 的计算过程可表示如下: $$ \begin{aligned} \mathbf{m}_u^{(l)}&=\mathrm{MSG}^{(l)}\left(\math

Read more

CS224W 图机器学习03:图神经网络

1 深度学习基础

损失函数梯度下降法族基础神经元卷积神经网络

2 图神经网络的难点

图数据的复杂性:

  • 存在任意大小和复杂的拓扑结构(不存在网格那样的空间局部性)
  • 没有固定的节点顺序或参考点;通常是动态的并且具有多模式特征

直接将邻接矩阵或节点特征输入到传统神经网络的问题:

  • $O(|V|)$ 级参数量,难以适用节点数较多的网络
  • 无法适用不同尺寸的图/网络,传统网络对节点顺序敏感

置换不变性 vs 置换等价性

  • 如果 $f(T(x))=f(x)$,则函数 $f(x)$ 对

Read more

Bilibili 评论-压缩现代性

“压缩现代性”,这个词很生动、贴切。中(含台湾)、日、韩三个国家的普通民众的生活都有明显的“压缩”特征:
1、住房是压缩的。美国人住别墅,中日韩绝大多数人住公寓。东亚城市人口密度远高于美国,也高于欧洲。这节约了土地,也导致普通人的个人空间严重不足;
2、学习是压缩的。“做题家”,这一个词描述了以高考为人才选拔的高压模式。进大学前,想考个好大学、好专业,那就只有拼命做题;
3、工作是压缩的。“加班、超时劳动”被普遍接受,只要老板给高一点的加班费,打工者对加班一般持欢迎与接受的态度。但这也极大地减少了可用于关心家庭、个人再学习、社交等一系列的工作之外的时间;
4、生育也是压缩的。一对夫妻,生一

Read more

CS224W 图机器学习02:图嵌入表示

1 图嵌入表示

传统图机器学习 VS 图表示学习

  • 给定输入图,传统图机器学习需要提取节点、链接和图级特征;然后学习将特征映射到/预测标签的模型(SVM、普通神经网络等),并应用于下游任务
  • 图表示学习则不需要额外特征工程,而是给定输入图,自动学习独立于任务的特征(节点、链接和图级嵌入表示),然后用于算法的训练学习和下游任务

嵌入表示的好处:

  • 节点间嵌入的相似性表明了它们在网络中的相似性

Read more

CS224W 图机器学习01:基本介绍

1 课程简介

课程内容大纲:

  • 图嵌入表示(Node Embedding)方法:DeepWalk,Node2vec
  • 图神经网络(GNN):GCN、GraphSAGE、GAT…
  • 图自注意力(Graph Transformers)
  • 知识图谱和推理:TransE,BetaE
  • 图生成模型:GraphRNN
  • 3D 图模型:Molecules
  • 扩展到大规模的图数据
  • 图应用:生物医学、科学技术

背景要求:机器学习、算法和图论、概率论与数理统计、Python/PyTorch

其他推荐工具:

  • 基于 PyTorch 构建的图神经网络库

Read more

CBMM 2023 专题讨论:AI 时代的智能研究

专题:AI时代的智能研究 “Research on Intelligence in the Age of AI”

核心问题1:是否应该推动更多的理论工作,比较深度学习模型与人类智能的理论

核心问题2:神经科学是否能够帮助人工智能,以及人工智能是否能够帮助神经科学

讨论参与者:

  • Tomaso Poggio,MIT 教授,主持人
  • Geoffrey Hinton,深度学习之父
  • Pietro Perona,加州理工学院教授,Amazon 研究员
  • David Siegel,Two Sigma 对冲基金主席
  • Demis Hassabis,DeepMind 创始人
  • Ilya Sutsk

Read more