分类目录归档：algorithm
瑞利熵（Rayleigh quotient）函数定义如下： $$R(A,x)=\frac{x^HAx}{x^Hx}$$
瑞利熵$R(A,x)$的重要性质： $$\lambda_{min}\leq R(A,x)\leq \lambda_{max}$$
拉普拉斯特征映射（Laplacian Eigenmaps，简称LE）是一种基于图的降维算法
LE算法核心思想：在低维空间内，尽可能保证局部样本间的结构不变
LE算法步骤：
LE算法分析：
谱聚类（spectral clustering）：一种基于图的聚类算法
前置知识：图论基础概念、图论基础#3.1 理解拉普拉斯矩阵
核心思想：将数据转化为图的形式，距离近的数据间对应的边权重高，距离远的数据间对应的边权重低。之后通过切图的方式，使得不同子图间的边权值和尽可能低，子图内部的边权值和尽可能高，从而达到聚类的目的
核心思想：把每个样本看作一个节点，然后构建任意两点$(x_i,x_j)$间权重边$w_{ij}$
方法1
在最优化问题的求解过程中常利用到函数梯度及其高阶信息
牛顿法（Newton's method）又称为牛顿-拉弗森方法（Newton-Raphson method）
牛顿法借助泰勒级数的低阶展开，寻找方程$f(x)=0$的根（因此也被称为切线法）
牛顿法计算步骤：
将一幅图像中的坐标位置映射到另一幅图像中的新坐标位置
2D几何变换分类：
主成分分析（Principal components analysis，PCA），一种常用的线性降维方法
算法步骤：
图像理解：
（图源：维基百科-主成分分析）
PCA 的优缺点分析：
尺度不变特征变换匹配算法（Scale Invariant Feature Transform 简称SIFT）
SIFT算法常用来提取用于描述影像中的局部性特征，算法主要从空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量
算法过程：
期望最大化（Expectation-Maximum，简称EM）算法是一种机器学习常见基础算法
EM算法常用于处理存在隐变量的最大似然估计模型，训练过程简单描述如下：
以K-means聚类为例进行直观理解：
EM算法作为一种基础算法，广泛应用于多种算法模型的学习过程，比如：[[1_study/algorithm/概率图类模型/隐马尔可
Chinese Whispers（简称CW）算法，是一种无监督的图聚类算法
CW算法运行效率高，但结果存在不确定性，常用于人脸聚类或文本聚类
以人脸聚类为例，先进行图的初始化（构建无向加权图）：每个人脸图片为一个节点，不同节点通过计算相似度，然后连接相似度超出指定阈值的节点，并以相似度作为边的权重
算法步骤
- 对于N个人脸样本，每个样本节点先单独成簇（自成一类）
- 遍历所有节点，根据每个节点的邻节点所属类别，计算权重累加
- 修正节点类别，选择最终累加权重最高的类别
- 如果有多个权重最高的类别，
（图源：维基百科-自编码器）