个人笔记

前置知识：强化学习入门、Deep Q-Learning、策略梯度算法

Actor-Critic

Actor-Critic （简称 AC）是一种经典的强化学习框架

• 结合了策略（Policy Based）和价值（Value Based）
• Actor 表示策略函数，负责动作生成与环境交互
• Critic 表示价值函数，负责 Actor 的表现评估和指导

AC 算法的 Actor 策略函数近似 $$ \pi_{\theta}(s,a) = P(a|s,\theta)\approx \pi(a|s) $$

• Actor 的定义与策略

Read more

仅搜集收录了部分个人感兴趣的文章，并进行简单记录

1 概念科普

1.1 AI 定制“现代饮食”方案，有效降低痴呆症风险

2025-07-02 文章链接

一项发表

Read more

• 1973年，英国统计学家弗朗西斯·安斯康姆提出了四张数据散点图
• 这四个数据集的分布截然不同，但平均值、方差、相关系数、线性回归，都是一样的
• 安斯康姆通过这四张图，证明了不能只看统计指标，必须关注散点图和异常值

Read more

前置知识：强化学习入门、Deep Q-Learning

策略梯度算法

策略梯度（Policy Gradient）

• 一种基于策略（Policy Based）的基础强化学习方法
• 区分与 TD 或 DQN 等基于价值（Value Based）的方法
• 策略梯度是一种在线算法，其依赖当前策略采样到的经验数据

基于价值（Value Based）方法的局限性：

1. 离散动作空间，难以处理连续或高维的动作空间
2. 受限状态下的问题，可能不存在基于价值的最优解
3. 基于最大价值的策略为确定性策略，不适合随机策略问题

基于策略的

Read more

天使问题是由英国数学家约翰·何顿·康威提出的一个博弈论问题，在 2006 年已获解答。

天使问题是关于一个叫天使与恶魔的双人游戏，其规则如下：

1. 两名玩家分别扮演天使和恶魔
2. 游戏开始前，指定一个正整数 K，称之为天使的力量
3. 游戏在一个无限大的方格棋盘上进行；开始时棋盘是空的，天使停留在棋盘上的某一个方格（称为天使的起始点），恶魔并不存在于棋盘上
4. 每一轮中，恶魔可以在棋盘上放置一个路障，路障不可以放置在天使停留处
5. 每一轮中，天使可以向相邻格移动至多 K 步，移动过程中可以穿过路障，但移动终点必须停留在没有路障的格中；纵横斜格均算作相邻格
6. 从恶魔开始，双方交替进行（若从天使开始，从上面的规则描

Read more

前置知识：强化学习入门、时序差分算法 TD

Deep Q-Learning

Deep Q-Learning，简称 DQN

• DQN 在 Q-Learning 的基础上，添加神经网络 Q 来计算价值函数
• 网络 Q 的输入为状态向量 $\phi(S)$，输出是所有动作在该状态下的动作价值
• DQN 通过引入网络 Q 来代替原始 Q-Learning 的 Q 表；解决了Q-Learning 只能适用于离散状态空间的局限性；因此 DQN 可用来解决连续状态下离散动作的问题

DQN 算法步骤

1. 随机初

Read more

医疗健康

• 外文网站（源失效） https://www.webmd.com/
• 微信公众号（源失效）：古麻今醉、NEJM 医学前沿、BASIC 重症医学

AI 前沿

• 浙大-可视分析小组（源失效/网站地址失效），RSS 源备份
• Uber Engineering Blog（源失效），RSS 源备份，网站地址备份
• WaytoAGI BLOG（半年未更新），RSS 源备份，网站地址备份
• 微信公众号（源失效）：专知、新智元、量子位、集智俱乐部、学术头条、夕小瑶科技说

金融投资：

• 微信公众号（源失效）：豆瓜的投资笔记、韭黄一家人
• 雪球热门帖子（源失效），RSS 源备份

技术周刊：

• 独立开发变

Read more

原文：AI代理的上下文工程：构建Manus的经验教训

上下文工程的重要性：

• 降低从零开始训练模型中可能存在的沉没成本
• 增加迭代速度，提高将模型转化为应用/交付的效率
• 模型与产品解耦，并发挥基座模型持续进步的红利
• 上下文工程影响 Agent 的速度、纠错能力和扩展性

经验 1：将 KV-cache 命中率作为生产的

Read more

列线图（Alignment Diagram），又称诺莫图（Nomogram 图）

• 建立在多因素回归分析的基础上，将多个预测指标进行整合，然后采用带有刻度的线段，按照一定的比例绘制在同一平面上，从而用以表达预测模型中各个变量之间的相互关系
• 常用于多指标联合诊断或预测疾病发病或进展，也可以用于构建评分指标

示例说明（以泰坦尼克邮轮数据集中，乘客的死亡二分类预测为例）：

• 主要考虑特征为乘客的年龄（age），客舱等级（pclass）和性别（sex）
• Points 是每一个特征的评分参照，Total Points 是所有特征的汇总评分参照
• Linear Predictor 是汇总评分的线性映

Read more

一、金银器：太阳神鸟金箔饰

二、青铜器：“利”青铜簋

三、石刻壁画：陈仓石鼓

四、文献书简：《孙子兵法》竹简

五、书法：平复帖 陆机

六、绘画：五牛图 韩滉

七、工艺品：真珠舍利宝幢（含木函）

八、陶瓷：定窑孩儿枕

九、玉器：渎山大玉海

Read more