马尔可夫过程
马尔可夫过程（Markov process）是一类具有马尔可夫性质的随机过程
- 由俄国数学家A.A.马尔可夫于 1907 年提出。该过程具有如下特性：在已知目前状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变 (过去 )
- 例如森林中动物头数的变化构成——马尔可夫过程。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等
马尔可夫性质（Markov property，MP）：如果某一个过程未来某个时刻的状态与过去的状态无关，只由现在的状态决定，那么其具有马尔可夫性质
强马尔可夫性质：某一个过程中的任意时刻都具有马尔可夫性质
N 阶马尔可夫过程：某一个过程中的每个状态的转移只依赖于之前的 N 个状态
一般无特殊说明，默认马尔可夫过程为最简单的 1 阶马尔可夫过程
马尔可夫链
马尔可夫链：时间和状态都是离散的马尔可夫过程
离散时间马尔可夫链是一个满足马尔可夫性质和强马尔可夫性质的随机过程
马尔可夫链的关键三要素
- 状态空间，每个变量的所有可能取值的集合
- 转移概率，变量状态由 $t$ 时刻的 $s$ 转移 $t+1$ 时刻的 $s'$ 的概率
- 转移概率矩阵，描述所有状态之间转移的所有可能概率
马尔科夫链的平稳分布：
- 假设矩阵 $P$ 是一个非周期的马尔科夫链有状态转移矩阵；马尔科夫链一般都是非周期性的；存在周期性的马尔科夫链无法随着状态的转移而收敛（存在循环结构）
- 假设矩阵 $P$ 中任意两个状态是连通的，即任意一个状态可以通过有限步到达其他的任意一个状态，不会出现条件概率一直为0导致不可达的情况
- 马尔科夫链的平稳分布 $\pi$ 描述了马尔科夫链的收敛性质：$\lim_{n \to \infty}P_{ij}^n = \pi(j)$
- 从线性代数的角度考虑，$\pi$ 是方程 $\pi P = \pi$ 的唯一非负解，且 $\Sigma_{i=0}^{\infty} \pi(i)=1$
马尔可夫模型
马尔可夫模型（The Markov Model），又称为可视马尔可夫模型
- 马尔可夫过程指的是一个状态不断演变的过程，对其进行建模后称之为马尔可夫模型
- 马尔可夫模型具备无记忆性的特点，即当前时刻的状态，只受前一时刻的影响
以典型的天气模型为例，设状态有三种：{ Sunny，Rainy，Cloudy }
由于每天的天气都不一定，所以对于天气的每天观察就构成了一个马尔可夫链
通过历史数据统计不同状态之间的转移概率，就可以得到马尔可夫模型：
马尔可夫进阶
隐马尔可夫模型 HMM = 部分状态不可知的马尔可夫模型
条件随机场 CRF = 马尔可夫随机场+条件概率
马尔可夫链蒙特卡洛 MCMC = 马尔可夫链+蒙特卡洛