1 知识图基本介绍
知识图(Knowledge graph):以图的形式存储知识
- 节点表示实体(entitles),节点的标签可以是实体类型
- 节点之间的边表示两个实体之间的关系
- 所以知识图是异构图的一种特殊情况
知识图示例:生物知识图(蛋白质/药物/疾病/不良事件)
知识图应用:信息检索服务、问答和对话
常见的开源 KG :0_life/精品资源/数据资源/知识图数据资源
这类知识图一般是百万级别的
分类目录归档:课程
知识图(Knowledge graph):以图的形式存储知识
知识图示例:生物知识图(蛋白质/药物/疾病/不良事件)
知识图应用:信息检索服务、问答和对话
常见的开源 KG :0_life/精品资源/数据资源/知识图数据资源
这类知识图一般是百万级别的
异构图(Heterogeneous Graph),存在不同类型的节点和边
即节点和边至少有一个具有多种类型,常见于知识图谱的场景
举例:引文网络
从异构图到标准图:
one-hot
形式的特征,以此区分类型[1, 0]
附加到每个“作者节点”;将特征 [0, 1]
附加到每个“纸节点”关键问题:GNN 节点嵌入能否区分不同节点的局部邻域结构?
GNN 通过邻域定义的计算图生成节点嵌入:
由于 GNN 主要依赖节点特征,而不考虑节点 ID
因此 GNN 无法区分位置同构的节点(节点 1 和节点 2)
图训练的完整 Pipeline:
不同的任务级别需要不同的预测头(Prediction head)
$$ \widehat{\boldsymbol{y}}_v=\mathrm{Head}_{\mathrm{node}}(\mathbf{h}_v^{(L)})=\mathbf{W}^{(H)}\mathbf{h}_v^{(L)} $$
图神经网络(GNN)的通用框架:
所以单层 GNN 的计算过程可表示如下: $$ \begin{aligned} \mathbf{m}_u^{(l)}&=\mathrm{MSG}^{(l)}\left(\math
图数据的复杂性:
直接将邻接矩阵或节点特征输入到传统神经网络的问题:
置换不变性 vs 置换等价性
“压缩现代性”,这个词很生动、贴切。中(含台湾)、日、韩三个国家的普通民众的生活都有明显的“压缩”特征:
1、住房是压缩的。美国人住别墅,中日韩绝大多数人住公寓。东亚城市人口密度远高于美国,也高于欧洲。这节约了土地,也导致普通人的个人空间严重不足;
2、学习是压缩的。“做题家”,这一个词描述了以高考为人才选拔的高压模式。进大学前,想考个好大学、好专业,那就只有拼命做题;
3、工作是压缩的。“加班、超时劳动”被普遍接受,只要老板给高一点的加班费,打工者对加班一般持欢迎与接受的态度。但这也极大地减少了可用于关心家庭、个人再学习、社交等一系列的工作之外的时间;
4、生育也是压缩的。一对夫妻,生一
传统图机器学习 VS 图表示学习
嵌入表示的好处:
课程内容大纲:
背景要求:机器学习、算法和图论、概率论与数理统计、Python/PyTorch
其他推荐工具:
专题:AI时代的智能研究 “Research on Intelligence in the Age of AI”
核心问题1:是否应该推动更多的理论工作,比较深度学习模型与人类智能的理论
核心问题2:神经科学是否能够帮助人工智能,以及人工智能是否能够帮助神经科学
讨论参与者: