常数初始化

将参数全部初始化为相同的常数（通常为 0，也称全零初始化）

• 常见于传统 ML（比如 SVM 或逻辑回归），一般不适用于神经网络的训练
• 神经网络需要一定的随机性来打破对称性（Symmetry breaking），否则同一层的所有神经元会以相同的初始值为起点，进行相同的梯度计算和更新，从而导致模型无法学习复杂特征

随机初始化

从均值为 $\mu$ （通常为 0）和方差为 $\sigma^2$ 的分布中随机采样

• 随机初始化一般考虑正态分布 $N(0,\sigma^2

Read more

前置知识：强化学习入门、Q-Learning

Dyna 框架

Dyna 是一种经典的强化学习算法

• Dyna 会尝试从环境中学习两个独立模型（1）状态转移模型 $P$，根据当前状态 $s$ 和动作 $a$，预测下一个的状态 $s'$（2）奖励预测模型 $R$，根据当前状态 $s$ 和动作 $a$，预测环境的反馈奖励 $r$
• Dyna 作为一类算法的总称，可以将基于模型的强化学习与无模型的强化学习进行组合，从而使得策略/价值函数既可以从环境模型中学习，也可以在与真实环境交互中学习，结合二者的优势
• Dyna 的环境模型一般为查表法或监督学习的预测

Read more

前置知识：强化学习入门、Deep Q-Learning、策略梯度算法

Actor-Critic

Actor-Critic （简称 AC）是一种经典的强化学习框架

• 结合了策略（Policy Based）和价值（Value Based）
• Actor 表示策略函数，负责动作生成与环境交互
• Critic 表示价值函数，负责 Actor 的表现评估和指导

AC 算法的 Actor 策略函数近似 $$ \pi_{\theta}(s,a) = P(a|s,\theta)\approx \pi(a|s) $$

• Actor 的定义与策略

Read more

前置知识：强化学习入门、Deep Q-Learning

策略梯度算法

策略梯度（Policy Gradient）

• 一种基于策略（Policy Based）的基础强化学习方法
• 区分与 TD 或 DQN 等基于价值（Value Based）的方法
• 策略梯度是一种在线算法，其依赖当前策略采样到的经验数据

基于价值（Value Based）方法的局限性：

1. 离散动作空间，难以处理连续或高维的动作空间
2. 受限状态下的问题，可能不存在基于价值的最优解
3. 基于最大价值的策略为确定性策略，不适合随机策略问题

基于策略的

Read more

前置知识：强化学习入门、时序差分算法 TD

Deep Q-Learning

Deep Q-Learning，简称 DQN

• DQN 在 Q-Learning 的基础上，添加神经网络 Q 来计算价值函数
• 网络 Q 的输入为状态向量 $\phi(S)$，输出是所有动作在该状态下的动作价值
• DQN 通过引入网络 Q 来代替原始 Q-Learning 的 Q 表；解决了Q-Learning 只能适用于离散状态空间的局限性；因此 DQN 可用来解决连续状态下离散动作的问题

DQN 算法步骤

1. 随机初

Read more

前置知识：强化学习入门、蒙特卡洛法、马尔可夫决策过程 MDP

时序差分算法

时序差分（temporal difference，TD）

• 一种用来估计一个策略的价值函数的方法，结合了蒙特卡洛和动态规划算法的思想
• 时序差分 vs 蒙特卡洛：都可以从样本数据中学习，不需要事先知道环境；但蒙特卡洛法需要完成整个序列后才能计算得到回报 $G_{t}$，而时序差分法只需要当前步结束即可进行计算
• 时序差分 vs 动态规划：都可以根据贝尔曼方程来更新当前状态的价值估计

回顾 MDP 中状态价值函数的贝尔曼方程： $$ v_{

Read more

前置知识：马尔可夫模型，强化学习入门

MDP 的定义

马尔可夫奖励过程（Markov reward process，MRP）

• 在马尔可夫过程的基础上加入奖励 $R$ 和奖励衰减因子 $\gamma$
• 马尔可夫奖励过程中时刻 $t$ 的回报 $G_{t}$ 是未来奖励的衰减折现

$$ G_{t}=R_{t}+\gamma R_{t+1}+\gamma^2 R_{t+2}+\dots+\gamma^n R_{t+n} $$

• 马尔可夫奖励过程中的状态价值函数 $v(s)=E[G_{t}|S_{t}=s]$

Read more

强化学习的定义

强化学习（reinforcement learning，RL）

• RL 是 Agent 通过动作与环境交互，从而实现特定目标最优化的一种计算方法
• Agent 在环境状态为 $S_{t}$ 的情况下产生一个动作决策 $A_{t}$，并将 $A_{t}$ 作用到环境中
• 然后环境发生相应的改变，并将相应的奖励反馈 $R$ 和下一轮状态 $S_{t+1}$ 传回机器
• 以上交互是迭代进行的，目标是最大化在多轮交互过程中获得的累积奖励的期望

强化学习的三个基本要素：

1. 状态 $S$，Agent 需要能感知当前环境的状态；比如 AlphaGo 需要了

Read more

共形预测（conformal prediction，CP）是一种置信度预测器

• 给定置信度水平，共形预测能为预测器模型生成具有统计有效性的预测区间
• 共形预测可以逐类分析，独立保证每个类的错误率，适用于数据偏斜的情况
• 广泛应用于假设检验，能为机器学习系统的预测提供有保证的不确定性量化
• 共形预测易于理解和应用，通用性强，适用于不同领域不同类型的预测模型
• 共形预测的算法相对新颖，相关的开源实现较少，更多的研究停留在学术界

由于翻译用词缺少官方定义，共形预测也称共形推理或保形预测

算法原理

共形预测的一般过程：

1. 根据输入 $x

Read more

前置知识：图论基础

代码实践：图特征工程_Python实现

节点中心性度量

度中心性 (Degrree Centrality)：

• 用节点的度来描述节点的重要性，即邻接节点数越多的节点越重要
• 在不同网络间比较时，需要除以网络总节点数进行标准化

特征向量中心性 ( Eigenvector Centrality)： $$ c_v=\frac{1}{\lambda}\sum_{u\in N(v)}c_u $$

• 节点的重要性取决于邻接节点的重要性之和
• 其本质对应一个图邻接矩阵的特征向量求解问题

介数中心性

Read more