1 瑞利熵函数
瑞利熵（Rayleigh quotient）函数定义如下： $$R(A,x)=\frac{x^HAx}{x^Hx}$$
- 其中$A$为$n\times n$的$Hermitian$矩阵；$x$为非零向量；$H$表示共轭转置
- $Hermitian$矩阵，即厄尔米特矩阵（共轭转置矩阵和自己相等的矩阵）
- 由于现实机器学习中很少遇见复数的情况，因此$A$可考虑为实对称矩阵
瑞利熵$R(A,x)$的重要性质： $$\lambda_{min}\leq R(A,x)\leq \lambda_{max}$$
- 其中$\lambda_{min}$表示矩阵$A$的最小特征值，$\lambda_{max}$表示矩阵$A$的最大特征值
当向量$x$为标准正交基时，即满足$x^Tx=1$时。瑞利熵退化为$R(A,x)=x^TAx$
2 广义瑞利熵
广义瑞利熵（generalized Rayleigh quotient）定义如下： $$R(A,B,x)=\frac{x^HAx}{x^Hx}$$
- 其中$A,B$为$n\times n$的$Hermitian$矩阵；$B$为正定矩阵；$x$为非零向量
- 令$x=B^{-\frac{1}{2}}x'$，广义瑞利熵问题可转化为普通瑞利熵问题：
$$R(A,B,x)=\frac{x^HAx}{x^Hx}=\frac{x'^{H}B^{-\frac{1}{2}}AB^{\frac{1}{2}}x'}{x'^{H}x'}$$
3 瑞利熵问题求解
一般来说，可以借助拉格朗日乘子法，可以把常见的瑞利商问题转变为特征值求解的问题。假设算法的优化目标和约束条件如下所示： $$argmax_x \ x^TAx\ \ s.t.\ x^Tx=1$$ 利用拉格朗日乘子法，可得$argmax_{x,\lambda}\ L=max_{x,\lambda}[x^TAx+\lambda(x^Tx-1)]$
令偏导$L_x=0$可得：$\frac{\partial{L}}{\partial{x}}=Ax-\lambda x=0$，即$Ax=\lambda x$
降维或聚类任务往往能转化为瑞利熵的最优化问题，并通过针对矩阵$A$的矩阵分解找到降维空间。瑞利熵最大化问题则寻找最大的前$k$个特征值对应特征向量组成的空间，瑞利熵最小化问题则寻找最小的前$k$个特征值对应特征向量组成的空间。
常见的几种应用算法：
- [[1_study/algorithm/数据降维算法/主成分分析 PCA]]：瑞利熵最大化问题，此时的$A$为协方差矩阵
- [[1_study/algorithm/数据降维算法/局部线性嵌入 LLE]]：瑞利熵最小化问题，此时的$A$为$(I-W)^T(I-W)$矩阵
- [[1_study/algorithm/数据降维算法/拉普拉斯特征映射 LE]]：瑞利熵最小化问题，此时的$A$为拉普拉斯矩阵
- [[1_study/algorithm/数据降维算法/线性判别分析 LDA]]：瑞利熵最大化问题，此时的$A$为$S^{-1}_{w} S_b$