发表评论
16 views
发表评论
14 views
Agent：能够自主收集信息、制定计划并执行动作的智能体
- 3 个特征：感知、规划和行动
- 5 个要素：LLMs，逻辑链，记忆，知识，工具
Agent 分层：
- Agent 专家 = LLMs + RAG + Tools
- Agent 团队 = 多个 Agent + 任务分配 + 管理协作
- Agent 企业 = 多个 Agent 团队 + 自适应决策 + 监控与运维
Agent 分类
发表评论
13 views
前置知识： 10.《动手学深度学习》注意力机制
普通线性注意力
原始 Tansformer（左） VS 线性 Tansformer（右）：
- N：序列长度，在自然语言处理任务中，指句子中 Token 或词的数量。
- d：特征维度，即每个元素（如单词的词向量）的维度。
- O(N²d)、O(Nd²) ：计算复杂度。大 O 描述了计算量随输入序列变长的增长速度，如 O(N²d) 表示计算量与 N² 和 d 成正比 。
- Q（Query）：“查询” 矩阵，用于在自注意力机制中向其他元素询问相关
发表评论
18 views
大语言模型（LLMs）的上下文学习：经过预训练的 LLMs 能根据文本提示或任务示例来直接对下游任务进行预测，而无需更新模型权重，这种能力也被称为上下文学习（in-context learning，ICL）或语境学习
简单来说，ICL 就是在不更新模型参数的前提下，通过输入经典示例作为提示来增强模型的能力
以情感分析为例，来说明 ICL 的一般流程（图源）：
- ICL 需要一些示例来形成一个用于情景演示的上下文，作为提示输入来增强 LLMs
- ICL 示例一般用自然语言模板编写，并拼接真实的输入查询（Text）与结果（Label）
ICL 的分类：
- Few-shot learning，
发表评论
17 views
LSH（locality sensitivity Hashing，局部敏感性哈希）算法
- 一种从海量数据中进行相似性搜索的算法
- 常用于文本查重、图像识别、推荐系统和搜索引擎
以相似文档检索为例，说明 LSH 的算法过程
Shingling，文档进行向量化表示
- 统计 k 个文档中连续出现的 token（字符或单词）
- 按照 one_hot 的形式对文档进行向量化的矩阵表示
- 每一列表示一个文档，每一行表示文档的信息矩阵
Min-Hashing，对文档信息进行降维
- 依次对文档矩阵的每一列进行重排序
- 选择第一个非 0 行的行号作为的最小哈希值
- 重复多次，得到若干个最小哈希组成的文档矩阵
发表评论
626 views
TabPFN 的主要特点：
- 一种面向小规模表格数据（样本量<=10000）的预训练 Transformer 模型
- 不同与以往基于 X 预测 Y 的传统模型，TabPFN 更类似于 AutoML 或者元学习的思路，其先基于真
发表评论
364 views
在分组比较中都占优势的一方，在总评中有时反而是失势的一方
一个辛普森悖论的典型示例：
| 性别 | 法学院录取人数 | 法学院申请人数 | 法学院录取比例 | 商学院录取人数 | 商学院申请人数 | 商学院录取比例 | 合计录取比例 |
|---|---|---|---|---|---|---|---|
| 男生 | 8 | 53 | 15.1% | 201 | 251 | 80.1% | 68.8% |
| 女生 | 51 | 152 | 33.6% | 92 | 101 | 91.1% | 56.5% |
| 合计 | 59 | 205 | 293 | 352 |
- 女生在两个学院的录取率都更高，但整体的录取率却更低
- 分析思路：
发表评论
496 views
术前评估
ASA 术前麻醉评分
ASA 分级标准，指的是美国麻醉医师协会（ASA）于麻醉前根据
发表评论
449 views
因果推断基础
辛普森悖论 提醒我们在分析数据时要仔细考虑分组和混杂因素的影响，而因果推断的作用就是使用适当的方法识别和控制这些因素，从而可以更好地解释数据中的关系，并做出可靠的结论。
相关性与因果性：
- 相关性描述了事物之间存在的关联，因果性则代表了事物之间的内在联系
- 不同于相关性，因果性一般是单向的，即 A 是 B 的因，B 就不应该是 A 的因
- 传统模型一般学习的只是相关性，这也是导致模型泛化能力不足的重要原因
因果关系的三个阶段（由易到难）：
- 关联性 Assoc
发表评论
427 views
BNN 的定义
贝叶斯神经网络（Bayesian neural networks, BNNs）：
- 神经网络中的可训练参数，即权重（weight）和偏置（bias）都表示为一个分布
- 一种最简单的 BNN 就是将模型参数看作服从均值为 $\mu$，方差为 $\delta$ 的高斯分布；考虑到中心极限定理的存在，一般认为模型参数符合高斯分布是一种合理的假设
- 在预测时，BNN 会从每个高斯分布采样，得到一个确定的神经网络，然后用于预测；也可以对参数多次采样后分别进行预测，然后将多次预测结果进行汇总（类