个人笔记

1 马尔可夫随机场

一个无向图，结点表示随机变量，边表示两个随机变量之间的概率依赖关系，每个随机变量都可以指定一种可能取值，当变量满足马尔可夫性（即变量的可能取值只与它的临近变量有关）时，这时的图就叫马尔可夫网络，也就是马尔可夫随机场。（非严谨定义）

以构建以词性标注为例，假设一个句子由10个单词组成的句子，每个单词的词性选择有10种，则马尔可夫随机场就限制了所有单词的词性只和它前后的单词有关系。

2 条件随机场

条件随机场

Read more

1 马尔可夫模型

马尔可夫模型（The Hidden Markov Model），简称HMM，又称为可视马尔可夫模型，具备无记忆性的特点，即当前时刻的状态，只受前一时刻的影响

以典型的天气模型为例，设状态有三种：{ Sunny，Rainy，Cloudy }

由于每天的天气都不一定，所以对于天气的每天观察就构成了一个马尔可夫链

通过历史数据统计不同状态之间的转移概率，就可以得到马尔可夫模型：

2 隐马尔可夫模型

马尔可夫模型的状态是可知的，而隐马尔可夫模型的状态是不可知，但存在可知的

Read more

1 概率图模型

概率图模型，在概率模型的基础上，使用基于图的方法来表示概率分布（概率密度/密度函数），是一种通用化的不确定性知识表示和处理方法。

（摘自宗成庆的《统计自然语言处理》）

2 生成式VS判别式

生成式模型：假设因变量决定自变量，针对$p(X,y)$建模，构建涵盖所有情况的联合分布，然后对比不同类别$y$情况下$X$与历史情况的相似程度，选择最相似（概率最高）的一种可能性。

生成式模型特点：需要更为全面的信息，学习成本高，预测效

Read more