个人笔记

英文标题：Heterogeneous Graph Transformer

发布平台：WWW

WWW

发布日期：2020-04-20

引用量（非实时）：1064

DOI：10.1145/3366423.3380027

作者：Ziniu Hu, Yuxiao Dong, Kuansan

Read more

1 异构图的定义与理解

异构图（Heterogeneous Graph），存在不同类型的节点和边

即节点和边至少有一个具有多种类型，常见于知识图谱的场景

举例：引文网络

• 节点的类型可以是作者（Author）或文章（Paper）
• 边的类型可以是引用（Cite）或类似（Like）

从异构图到标准图：

• 可以将节点和边的类型视为 one-hot 形式的特征，以此区分类型
• 比如将特征 [1, 0] 附加到每个“作者节点”；将特征 [0, 1] 附加到每个“纸节点”
• 但该方法不适用于不同类

Read more

仅搜集收录了部分个人感兴趣的文章，并进行简单记录

1 概念科普

1.1 利用 AI 大模型，破解医疗数据困境

2024-03-16 15:31 文章链接

患者、医疗数据、基础模型三者的关系：

基础模型的优势：

1. 数据增强：例如哈佛大学的研究者利用 DALL-E 生成皮肤病图片来训练分类模型，浙江大学的研究者开发的 PathAsst 基础模型能够生成病理学子领域的指令样本来训练其他模型
2. 数据高效利用：上海交通大学的研究

Read more

仅搜集收录了部分个人感兴趣的文章，并进行简单记录

1 概念科普

1.1 《英

Read more

Read more

Read more

前置知识：信息技术/互联网基础，docker 基础，自建站能力

整合思路：

1. 基于 RSShub 自建订阅源，同时搜索第三方源
2. 使用 RSS_GPT 进行 RSS 源转发增强，AI 总结
3. 借助 WeWe RSS 对微信公众号文章进行 RSS 订阅
4. 搭建 FreshRSS 对以上 RSS 源信息整合和再分发
5. 选择合适的第三方 RSS 阅读器，并与 FreshRSS 打通

1 方案细

Read more

1 计算图与邻域信息

关键问题：GNN 节点嵌入能否区分不同节点的局部邻域结构？

GNN 通过邻域定义的计算图生成节点嵌入：

• 节点 1 和节点 5，因其度数不同而具有不同的邻域结构信息
• 节点 1 和节点 2，具有相同的邻域结构信息；二者在图中是对称的
• 节点 1 和节点 4，其 2 跳邻居的信息存在差异（邻居的度不同）

由于 GNN 主要依赖节点特征，而不考虑节点 ID

因此 GNN 无法区分位置同构的节点（节点 1 和节点 2）

2 GNN 的模型表达能力

Read more

图训练的完整 Pipeline：

1 GNN 的预测

不同的任务级别需要不同的预测头（Prediction head）

1. 节点（node-level）级预测：直接使用 $d$ 维的节点嵌入 $h_v^{(L)}$ 进行预测

$$ \widehat{\boldsymbol{y}}_v=\mathrm{Head}_{\mathrm{node}}(\mathbf{h}_v^{(L)})=\mathbf{W}^{(H)}\mathbf{h}_v^{(L)} $$

2. 边（edge-level）级预测：使用

Read more

1 单层图神经网络

图神经网络（GNN）的通用框架：

• 可以发现，GNN 层的输入为一组向量，输出为单个向量
• 所以单层 GNN 的核心过程在于邻域信息的转换（1）和聚合（2）
• 在转换和聚合邻域信息时，还要注意考虑节点本身的信息保留

所以单层 GNN 的计算过程可表示如下： $$ \begin{aligned} \mathbf{m}_u^{(l)}&=\mathrm{MSG}^{(l)}\left(\math

Read more