发表评论
40 views
分类目录归档：机器学习
发表评论
44 views
1 GNN 的架构设计
- 层内（Intra-layer）设计：核心过程信息的转换和聚合
- 层间（Inter-layer）设计：预处理层主要是对节点特征的编码，后处理层主要是对节点嵌入的推理和转换；跳过连接（skip-connection）有助于改善深度 GNN 的性能
- 学习配置（Learning configuration）对性能影响很大，还容易被忽视
经验总结：
- GNN 的可能设计结构非常多，因此设计空间的研究很重要
- GNN 很难优化，也经常容易欠拟合；训练的 epochs 越多越好
- Su
发表评论
42 views
课程目标 1：GNN 与传统图算法的关系
课程目标 2：理解 GNN 学习映射的过程
1 GNN 与经典任务
前置知识：WL 图同构检验、4 图同构网络 GIN
前置知识的概括总结：
- GIN 是 1-WL 算法的“神经版本”，二者的表现力相似
- 只不过 GIN 用可学习的 MLP 替换了 1-WL 的 HASH 函数
- 未经训练的 GNN（随机 MLP = 随机哈希）接近 1-WL 算法
思考：除了 1-WL，GNN 还可以轻松地模拟哪些其他任务？
任务 1：特征提取
- 输入：一堆包含颜色、位置描述的物体
- 输出
发表评论
49 views
1 因果关系介绍
因果关系的三个阶段（由易到难）：
- 关联性 Associational：传统 ML 任务，根据输入 X 预测输出 Y
- 干预性 Interventional：预测干预效果，根据动作 X 预测效果 Y
- 反事实 Counterfactual：对“已经发生”的事件，进行干预效果的想象
因果 DAG（有向无环图）：使用图来表示因果关系
用于决策干预的链路预测任务（比如搜索或推荐）往往是存在因果关系的
因果关系在决策中的示例：
- 上图中，$X_i$ 表示第 $i$ 个房子的特征，$Y_i$ 表示第 $i$
发表评论
28 views
由于本小节为论文研讨课，因此本文将以论文阅读笔记的形式展开
前置知识：了解基本的共形预测 Conformal Prediction 概念与评价方法（覆盖率）
《Uncertainty Quantification over Graph with Conformalized Graph Neural Networks》
摘要：
- 本文提出了一种共形 GNN（conformalized GNN，简称 CF-GNN），将共形预测扩展到图模型以估计模型预测的不确定性。预定义覆盖率（比如 90%）后，CF-G
发表评论
32 views
由于本小节为论文研讨课，因此本文将以论文阅读笔记的形式展开
《PRODIGY: Enabling In-context Learning Over Graphs》
摘要：
- 本文提出了一种名为 PRODIGY（Pretraining Over Diverse In-Context Graph System）的预训练框架，该框架借鉴了大模型的训练思路，先通过图提示（Graph Prompt）来表示图的上下文学习任务，再使用名为邻居匹配（neighbor mat
发表评论
159 views
1 大型图应用与难点
当前的大型图应用场景：
- 推荐系统（亚马逊、Youtube、Pinterest 等）：用户规模在 100M~1B，产品/视频规模在 10M~1B，任务包括商品推荐或用户分类
- 社交网络（Facebook、X、Instagram 等）：用户规模在 300M~3B，任务包括好友推荐或用户属性预测
- 学术网络（微软学术图谱）：作者或论文规模在 120M，任务包括论文分类、合作作者推荐、论文引用推荐
- 知识图谱（Wikidata、Freeb
发表评论
142 views
前置知识：CS224W 图机器学习04：GNN 深入理解、CS224W 图机器学习05：GNN 的训练与预测、 CS224W 图机器学习06：GNN 的理论理解
本节主题：如何使得 GNN 的嵌入更具表示力？
1 图神经网络的局限性
一个"完美"的 GNN 应该具备什么特征？
- 能在邻域结构（无论跃点如何）和节点嵌入之间构建一个单射函数
- 如果两个节点具有相同的邻域结构，则它们必须具有相同的嵌入
- 如果两个节点具有不同的邻域结构，则它们必须具有不同的嵌入
问题 1：
发表评论
316 views
1 推荐系统的任务与评价
推荐系统可以建模为二分图（bipartite graph）
- 具有两种类型的节点——用户（user）和项（item）
- 边用于连接用户和项，表示二者间的互动（比如点击、购买或评论）
任务：给定历史图，预测每个用户未来将产生的交互项（链接预测问题）
前置知识：推荐排序模型评价指标
基于嵌入表示的推荐系统建模思路
- 对于每一个用户 $u$，基于编码器生成对应的用户嵌入表示
- 对于每一个可交互项 $v$，基于编码器
发表评论
366 views
1 神经网络子图
子图（subgraphs）是构建图的基础块，能够描述和区分图网络
给定图 $G=(V,E)$，可以给出 2 种方式定义子图 $G'=(V',E')$
子图的定义方式 1：节点诱导子图（Node-induced subgraph）
- 从图 $G$ 的节点集合中筛选子集来构建子图，$V'\subseteq V$
- 然后从图 $G$ 的边集合中筛选子图所有节点的对应边，$E'={(u,v)\in E|u,v\in V'}