分类目录归档：数据降维算法
LDA 算法是一种监督学习的降维技术
LDA算法降维流程如下：
输入：数据集 $D = { (x_1,y_1),(x_2,y_2), ... ,(x_m,y_m) }$，其中样本 $x_i$ 是n维向量，$y_i \in {C_1, C_2, ..., C_k}$
瑞利熵（Rayleigh quotient）函数定义如下： $$R(A,x)=\frac{x^HAx}{x^Hx}$$
瑞利熵$R(A,x)$的重要性质： $$\lambda_{min}\leq R(A,x)\leq \lambda_{max}$$
拉普拉斯特征映射（Laplacian Eigenmaps，简称LE）是一种基于图的降维算法
LE算法核心思想：在低维空间内，尽可能保证局部样本间的结构不变
LE算法步骤：
LE算法分析：
主成分分析（Principal components analysis，PCA），一种常用的线性降维方法
算法步骤：
图像理解：
（图源：维基百科-主成分分析）
PCA 的优缺点分析：
局部线性嵌入(Locally Linear Embedding，以下简称LLE)是一种重要的降维方法。
和传统的PCA，LDA等关注样本方差的降维方法相比，LLE关注于降维时保持样本局部的线性特征，由于LLE在降维时保持了样本的局部特征，LLE广泛的用于图像图像识别，高维数据可视化等领域。
下图对LLE的原理进行了一个整体描述：
（图源：维基百科-自编码器）