个人笔记

仅搜集收录了部分个人感兴趣的文章，并进行简单记录

1 概念科普

1.1 《英

Read more

Read more

Read more

前置知识：信息技术/互联网基础，docker 基础，自建站能力

整合思路：

1. 基于 RSShub 自建订阅源，同时搜索第三方源
2. 使用 RSS_GPT 进行 RSS 源转发增强，AI 总结
3. 借助 WeWe RSS 对微信公众号文章进行 RSS 订阅
4. 搭建 FreshRSS 对以上 RSS 源信息整合和再分发
5. 选择合适的第三方 RSS 阅读器，并与 FreshRSS 打通

1 方案细

Read more

1 计算图与邻域信息

关键问题：GNN 节点嵌入能否区分不同节点的局部邻域结构？

GNN 通过邻域定义的计算图生成节点嵌入：

• 节点 1 和节点 5，因其度数不同而具有不同的邻域结构信息
• 节点 1 和节点 2，具有相同的邻域结构信息；二者在图中是对称的
• 节点 1 和节点 4，其 2 跳邻居的信息存在差异（邻居的度不同）

由于 GNN 主要依赖节点特征，而不考虑节点 ID

因此 GNN 无法区分位置同构的节点（节点 1 和节点 2）

2 GNN 的模型表达能力

Read more

图训练的完整 Pipeline：

1 GNN 的预测

不同的任务级别需要不同的预测头（Prediction head）

1. 节点（node-level）级预测：直接使用 $d$ 维的节点嵌入 $h_v^{(L)}$ 进行预测

$$ \widehat{\boldsymbol{y}}_v=\mathrm{Head}_{\mathrm{node}}(\mathbf{h}_v^{(L)})=\mathbf{W}^{(H)}\mathbf{h}_v^{(L)} $$

2. 边（edge-level）级预测：使用

Read more

1 单层图神经网络

图神经网络（GNN）的通用框架：

• 可以发现，GNN 层的输入为一组向量，输出为单个向量
• 所以单层 GNN 的核心过程在于邻域信息的转换（1）和聚合（2）
• 在转换和聚合邻域信息时，还要注意考虑节点本身的信息保留

所以单层 GNN 的计算过程可表示如下： $$ \begin{aligned} \mathbf{m}_u^{(l)}&=\mathrm{MSG}^{(l)}\left(\math

Read more

1 深度学习基础

损失函数、梯度下降法族、基础神经元、 卷积神经网络

2 图神经网络的难点

图数据的复杂性：

• 存在任意大小和复杂的拓扑结构（不存在网格那样的空间局部性）
• 没有固定的节点顺序或参考点；通常是动态的并且具有多模式特征

直接将邻接矩阵或节点特征输入到传统神经网络的问题：

• $O(|V|)$ 级参数量，难以适用节点数较多的网络
• 无法适用不同尺寸的图/网络，传统网络对节点顺序敏感

置换不变性 vs 置换等价性

• 如果 $f(T(x))=f(x)$，则函数 $f(x)$ 对

Read more

2006 年 12 月，国际会议 IEEE International Conference on Data Mining（ICDM）评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART.

1. C4.5 分类决策树
2. K-means 聚类算法
3. 1_study/algorithm/分类回归算法/支持向量机 SVM
4. Apriori 关联规则算法
5. 1_study/algorithm/迭代优化算法/期望最大化 EM 算法
6. PageRank 排序算法
7. Adab

Read more

PageRank 是早期 Google 搜索的核心算法，决定了搜索结果中的网页展示顺序

PageRank 算法最初用于网页权重的计算，它将每个网作为一个节点，网页间的超链接作为边，而最终的网页 X 权重描述了以 X 为起点，通过超链接进行随机游走 $N$ 次后，再次返回网页 X 的概率。同时为了防止随机游走进入死循环，每次随机游走还有概率 $=\alpha$ 的情况随机跳转到任意网页，不同网页的随机跳转概率是相等的

PageRank 核心思想：

• 根据网站的外部链接和内部链接的数量和质量衡量网站的价值
• 如果重要性为 $PR(i)$ 的页面 $i$ 有 $l_i$ 个外链（出度），则每个

Read more