个人笔记

1 深度学习基础

损失函数、梯度下降法族、基础神经元、 卷积神经网络

2 图神经网络的难点

图数据的复杂性：

• 存在任意大小和复杂的拓扑结构（不存在网格那样的空间局部性）
• 没有固定的节点顺序或参考点；通常是动态的并且具有多模式特征

直接将邻接矩阵或节点特征输入到传统神经网络的问题：

• $O(|V|)$ 级参数量，难以适用节点数较多的网络
• 无法适用不同尺寸的图/网络，传统网络对节点顺序敏感

置换不变性 vs 置换等价性

• 如果 $f(T(x))=f(x)$，则函数 $f(x)$ 对

Read more

“压缩现代性”，这个词很生动、贴切。中（含台湾）、日、韩三个国家的普通民众的生活都有明显的“压缩”特征：
1、住房是压缩的。美国人住别墅，中日韩绝大多数人住公寓。东亚城市人口密度远高于美国，也高于欧洲。这节约了土地，也导致普通人的个人空间严重不足；
2、学习是压缩的。“做题家”，这一个词描述了以高考为人才选拔的高压模式。进大学前，想考个好大学、好专业，那就只有拼命做题；
3、工作是压缩的。“加班、超时劳动”被普遍接受，只要老板给高一点的加班费，打工者对加班一般持欢迎与接受的态度。但这也极大地减少了可用于关心家庭、个人再学习、社交等一系列的工作之外的时间；
4、生育也是压缩的。一对夫妻，生一

Read more

1 图嵌入表示

传统图机器学习 VS 图表示学习

• 给定输入图，传统图机器学习需要提取节点、链接和图级特征；然后学习将特征映射到/预测标签的模型（SVM、普通神经网络等），并应用于下游任务
• 图表示学习则不需要额外特征工程，而是给定输入图，自动学习独立于任务的特征（节点、链接和图级嵌入表示），然后用于算法的训练学习和下游任务

嵌入表示的好处：

• 节点间嵌入的相似性表明了它们在网络中的相似性

Read more

1 课程简介

课程内容大纲：

• 图嵌入表示（Node Embedding）方法：DeepWalk，Node2vec
• 图神经网络（GNN）：GCN、GraphSAGE、GAT…
• 图自注意力（Graph Transformers）
• 知识图谱和推理：TransE，BetaE
• 图生成模型：GraphRNN
• 3D 图模型：Molecules
• 扩展到大规模的图数据
• 图应用：生物医学、科学技术

背景要求：机器学习、算法和图论、概率论与数理统计、Python/PyTorch

其他推荐工具：

• 基于 PyTorch 构建的图神经网络库

Read more

专题：AI时代的智能研究 “Research on Intelligence in the Age of AI”

核心问题1：是否应该推动更多的理论工作，比较深度学习模型与人类智能的理论

核心问题2：神经科学是否能够帮助人工智能，以及人工智能是否能够帮助神经科学

讨论参与者：

• Tomaso Poggio，MIT 教授，主持人
• Geoffrey Hinton，深度学习之父
• Pietro Perona，加州理工学院教授，Amazon 研究员
• David Siegel，Two Sigma 对冲基金主席
• Demis Hassabis，DeepMind 创始人
• Ilya Sutsk

Read more

1. 要得到你想的某样东西，最可靠的办法是让你自己能配得上它
2. 正确的爱应该以仰慕为基础
3. 获得智慧是一种道德责任，它不仅仅是为了让你们的生活变得更加美好。（必须保持终身学习）学习如何学习的方法，发明如何发明的方法
4. 什么是法律头脑，如果有两件事交织在一起，互相之间有影响，你努力只考虑其中一件，而完全不顾另一件，以这种思考方式既实用又可行的头脑就是法律头脑。 —-反话！！！真正重要的大道理占每个学科95%的分量，从所有学科中吸取自己所需要的95%的知识，并将它们变成思维习惯的一部分，然后去实践跨学科的方法。不要死记硬背，要掌握各种知识，让它们在头脑中形成一个思维框架，以便日后随时调用。
5. 逆向思考，

Read more

大模型幻觉的常见三种情况：

• LLM 模型输出内容和输入不一致（驴唇不对马嘴）
• LLM 模型输出内容中包含与上下文不一致的内容（自我矛盾）
• LLM 模型输出内容和世界知识/训练注入的知识不一致

1 幻觉四象限

• 右上是最优情况（知之为知之），左下是次优情况（不知为不知）
• 左上是最差情况，右下是次差的情况；二者需要尽量转移到更优的象限内

2 模型知道，模型认为自己不知道

模型具有正确的内部知识，但模型输出的内容存在错误

如何

Read more

1 基本信息

1.1 课程标题：《DeepLearning.ai 大模型系列课程》

1.2 授课讲师：吴恩达，Isa，Harrison Chase

1.3 授课日期：2023

1.4 品读时间：2023-07~2023-08

1.5 整体耗时：

Read more

1 简介

本节课程将介绍如何使用LangChain和自有数据进行对话

LangChain的组件包括：

• 提示(Prompts): 使模型执行操作的方式。
• 模型(Models)：大语言模型、对话模型，文本表示模型。目前包含多个模型的集成。
• 索引(Indexes): 获取数据的方式，可以与模型结合使用。
• 链(Chains): 端到端功能实现。
• 代理(Agents): 使用模型作为推理引擎

课程内容：

1. 介绍如何使用LangChain文档加载器 (Document Lo

Read more

1 简介

LangChain是用于构建大模型应用程序的开源框架

• 基于模块化组合，可单独使用也可以以链式方式进行组合
• 开源社区发展快速；有Python和JavaScript两个不同版本的包

2 提示和输出解释器

直接使用OpenAI的示例：

import os
import openai

#

Read more