1 概率图模型
概率图模型，在概率模型的基础上，使用基于图的方法来表示概率分布（概率密度/密度函数），是一种通用化的不确定性知识表示和处理方法。
（摘自宗成庆的《统计自然语言处理》）
2 生成式VS判别式
生成式模型：假设因变量决定自变量，针对$p(X,y)$建模，构建涵盖所有情况的联合分布，然后对比不同类别$y$情况下$X$与历史情况的相似程度，选择最相似（概率最高）的一种可能性。
生成式模型特点：需要更为全面的信息，学习成本高，预测效果一般，泛化能力强 常见的生成式模型有：隐马尔可夫模型HMM、朴素贝叶斯
判别式模型：假设自变量决定因变量，针对$p(y|X)$建模，通过提取条件分布中的信息，找到不同类别$y$之间的区别，寻找的是一种差异性，最终得到的是不同类别之间的最优分裂面。
判别式模型特点：不关注于数据本身的特性，学习成本低，预测效果较好 常见的判别式模型有：最大熵模型、条件随机场CRF、支持向量机SVM
3 有向图VS无向图
图是由结点和边构成的：$G=(V,E)$
有向图和无向图通过边是否包含方向信息进行区别
4 动态贝叶斯VS静态贝叶斯
静态贝叶斯网络是一种反映变量间的概率依存关系的图，没有考虑时间因素对变量的影响。
动态贝叶斯网络（Dynamic Bayesian Network, DBN）是一种暂态模型（transient state model），反映变量间的概率依存关系，也能展示这种依存关系随着时间的变化规律。
简单来说，动态贝叶斯网络是沿时间轴变化的贝叶斯网络。而隐马尔可夫模型（hidden markov model, HMM）是一种结构最简单的动态贝叶斯网络。
5 贝叶斯网络VS马尔可夫网络
贝叶斯网络和马尔可夫网络都用于表示变量之间的依赖关系
贝叶斯网络是一种有向无环图，无法表示一些依赖关系，如循环依赖（图的环状结构）；马尔可夫网络是一种无向图，无法表示一些变量关系，如推导关系（图中边的方向性）。
6 分类模型VS序列标注
- 序列标注其实是对序列进行依次分类的过程
- 朴素贝叶斯的序列标注版本就是HMM，而条件随机场也包含了多个逻辑回归。
- 序列标注不单是多个分类模型的简单累加，以条件随机场为例，它不但需要考虑$X$与$y$的关系，还会考虑到不同$y$之间的依赖关系，当然这种关系是符合马尔可夫性的。