1 GNN 的架构设计

- 层内(Intra-layer)设计:核心过程信息的转换和聚合
- 层间(Inter-layer)设计:预处理层主要是对节点特征的编码,后处理层主要是对节点嵌入的推理和转换;跳过连接(skip-connection)有助于改善深度 GNN 的性能
- 学习配置(Learning configuration)对性能影响很大,还容易被忽视
经验总结:
- GNN 的可能设计结构非常多,因此设计空间的研究很重要
- GNN 很难优化,也经常容易欠拟合;训练的 epochs 越多越好
- Su

经验总结:
课程目标 1:GNN 与传统图算法的关系
课程目标 2:理解 GNN 学习映射的过程

前置知识:WL 图同构检验、4 图同构网络 GIN
前置知识的概括总结:
思考:除了 1-WL,GNN 还可以轻松地模拟哪些其他任务?
任务 1:特征提取
参考文章:2024: The State of Generative AI in the Enterprise
核心观点:
Ollama 是一个支持在本地下载、管理运行大语言模型的工具
项目地址 172k ⭐
Ollama 基本操作:
ollama pull llama3.3 # 下拉模型
ollama 方案:将 config.json 文件中 num_hidden_layers 的值修改为较小的值(比如 1)
原理:隐藏层中 block 的输入输出维度是一致的,因此去除重复的 block 并不会影响模型的处理逻辑;但需要注意该方法会影响模型的性能,因此只适合模型调试阶段使用。
分层推理法:将模型根据层来进行拆分存储,推理时分批次将要处理的层导入显存
代码示例:
from accelerate import init_empty_weights
from accele前置知识:因果推断入门
因果 DAG(有向无环图):使用图来表示因果关系
用于决策干预的链路预测任务(比如搜索或推荐)往往是存在因果关系的
因果关系在决策中的示例:

前置知识:1_study/DeepLearning/基础神经网络/词嵌入表示 Embeddings#TF-IDF
BM25(Best Matching 25),一种经典的信息检索方法
给定查询 $Q={q_1,..,q_i,...,q_n}$ 和文档
由于本小节为论文研讨课,因此本文将以论文阅读笔记的形式展开
前置知识:了解基本的共形预测 Conformal Prediction 概念与评价方法(覆盖率)
《Uncertainty Quantification over Graph with Conformalized Graph Neural Networks》
摘要:
根据世界卫生组织 2024 年的报告,不安全的用耳习惯使超过 10 亿青年面临永久性听力损失的风险。
在导致听力损伤的后天因素中,噪声或强声暴露尤为关键:约 16% 的成人听力损失与工作场所的过度噪声暴露有关;12 至 35 岁人群中,有 50% 因在娱乐环境(包括夜店、Livehouse 和演唱会等)中接触不安全音量而面临听力损失风险
高音量与听力损失之间的关系,主要由以下几个变量决定:
