虚构的罪：幻觉

幻觉，一种现实世界与幻想世界的边界模糊：

• 幻觉定义：模型生成的内容与现实世界的事实或用户输入不一致
• 内在幻觉（intrinsic hallucination）：模型输出与提示的上下文直接冲突
• 外在幻觉（extrinsic hallucination）：模型输出无法通过上下文进行验证
• 幻觉也具有正面作用，比如激发艺术、文学或设计等领域的创新和创造力

大模型的幻觉问题是不可避免的，是一种先天的局限性

• 论文分别从理论和实证分析，说明幻觉在 LLMs 中是不可避免的
• 实证阶段设计了

Read more

变点检测的定义

变点检测（Change point detection, CPD）是指在时间序列中发现统计特性发生重大变化的点

变点检测示例（斯匹次卑尔根岛的年均气温趋势）：

变点检测的分类：

• 按照是否回顾整个历史数据集，分为离线检测和在线/实时检测
• 按照预测目标可以分为变点识别（分类）、变化度预测、变点时间预测
• 按照训练过程是否使用数据集标签，分为有监督方法和无监督方法

常见变点检测算法

变点检测的有监督方法：

• 常见分类器：决策树、朴素贝叶斯、贝叶斯网络、SVM、KNN、HMM、CRF 等
• 虚拟分类器：定义第一个窗口内的所有连

Read more

无限猴子定理（英语：Infinite monkey theorem）：让一只猴子在打字机上随机地按键，当按键时间达到无穷时，几乎必然能够打出任何给定的文字，比如莎士比亚的全套著作

定理的数学描述：当一个事件（例如，一只猴子输入一组字符）以有限的非零概率在给定的试验中发生时，随着独立试验的数量趋于无穷大，该事件从未发生的概率趋于零

有限猴子定理的数值评估实验

• 实验假设：键盘上有 20 种不同的键，覆盖了所有的英文字母和常见标点符号；每只猴子的工作寿命为 $10^9$ 秒（约 30 年）；实验开始距离宇宙寂灭时间有 $10^{100}$ 年（整体的实验时长），并且在此期间猴子的数量一直恒定在

Read more

1 基本信息

1.1 课程标题：《CS224W 图机器学习》

1.2 授课讲师：Jure Leskovec，Joshua Robinson 等人

1.3 授课日期：2023 年冬

1.4 品读时间：2024 年 3 月~2

Read more

1 GNN 的架构设计

• 层内（Intra-layer）设计：核心过程信息的转换和聚合
• 层间（Inter-layer）设计：预处理层主要是对节点特征的编码，后处理层主要是对节点嵌入的推理和转换；跳过连接（skip-connection）有助于改善深度 GNN 的性能
• 学习配置（Learning configuration）对性能影响很大，还容易被忽视

经验总结：

• GNN 的可能设计结构非常多，因此设计空间的研究很重要
• GNN 很难优化，也经常容易欠拟合；训练的 epochs 越多越好
• Su

Read more

课程目标 1：GNN 与传统图算法的关系

课程目标 2：理解 GNN 学习映射的过程

1 GNN 与经典任务

前置知识：WL 图同构检验、4 图同构网络 GIN

前置知识的概括总结：

• GIN 是 1-WL 算法的“神经版本”，二者的表现力相似
• 只不过 GIN 用可学习的 MLP 替换了 1-WL 的 HASH 函数
• 未经训练的 GNN（随机 MLP = 随机哈希）接近 1-WL 算法

思考：除了 1-WL，GNN 还可以轻松地模拟哪些其他任务？

任务 1：特征提取

• 输入：一堆包含颜色、位置描述的物体
• 输出

Read more

参考文章：2024: The State of Generative AI in the Enterprise

核心观点：

• 企业生成式 AI 正在从实验转向执行；2024 年 AI 支出 138 亿美元， 2023 年是 23 亿；72% 的决策者预计在不久的将来，会更广泛地采用生成式 AI 工具
• 企业生成式 AI 仍处于大规模转型的早期阶段；企业生成式 AI 投资的 60% 来自创新预算；超过三分之一的受访者对于实施生成式 AI 没有明确的愿景，仍在探索生成式 AI 对企业的作用
• 生成式 AI 正在深入到程序应用中； 2024 年 AI 应用支出 46 亿美元， 2023 年是 6 亿

Read more

Ollama 基础

Ollama 是一个支持在本地下载、管理运行大语言模型的工具

• 支持多平台安装，包括压缩包、EXE 文件、Linux 脚本、Docker 镜像等
• 能够管理并下载主流的 LLMs 文件，也支持第三方的模型导入（GGUF 格式）
• 启动模型后，支持在命令行界面交互、也提供了REST API接口用于第三方服务

项目地址 105k ⭐

支持的 LLMs 模型列表

Ollama 基本操作：

ollama pull llama3.3 # 下拉模型
ollama 

Read more

低显存GPU环境调试大模型

方案：将 config.json 文件中 num_hidden_layers 的值修改为较小的值（比如 1）

原理：隐藏层中 block 的输入输出维度是一致的，因此去除重复的 block 并不会影响模型的处理逻辑；但需要注意该方法会影响模型的性能，因此只适合模型调试阶段使用。

低显存 GPU 环境推理大模型

分层推理法：将模型根据层来进行拆分存储，推理时分批次将要处理的层导入显存

代码示例：

from accelerate import init_empty_weights
from accele

Read more

1 因果关系介绍

因果关系的三个阶段（由易到难）：

1. 关联性 Associational：传统 ML 任务，根据输入 X 预测输出 Y
2. 干预性 Interventional：预测干预效果，根据动作 X 预测效果 Y
3. 反事实 Counterfactual：对“已经发生”的事件，进行干预效果的想象

因果 DAG（有向无环图）：使用图来表示因果关系

用于决策干预的链路预测任务（比如搜索或推荐）往往是存在因果关系的

因果关系在决策中的示例：

• 上图中，$X_i$ 表示第 $i$ 个房子的特征，$Y_i$ 表示第 $i$

Read more