1 Kronecker 乘积
两个矩阵的 Kronecker 乘积 kron(X,Y)
为 X
的元素与 Y
的元素的所有可能乘积构成的较大矩阵。如果 X
为 m×n 且 Y
为 p×q,则 kron(X,Y)
为 mp×nq。元素以特定方式排列,呈现 X
的每个元素分别与整个矩阵 Y
相乘的结果。
X = [1 2; 3 4];
I = eye(2,2);
kron(X,I)
% result
ans =
1 0 2 0
0 1 0 2
3 0 4 0
0 3 0 4
2 海森矩阵
海森(Hessian)矩阵,多元函数的二阶偏导数构成的方阵,描述了函数的局部曲率
对于关于向量$x$的函数$f(x)$,可以根据各分量构建二阶偏导矩阵$H(f)$,即: $$H(f)=\begin{bmatrix} \frac{\partial^2{f}}{\partial{x^{(0)}}\partial{x^{(0)}}} & \frac{\partial^2{f}}{\partial{x^{(0)}}\partial{x^{(1)}}} & \cdots & \frac{\partial^2{f}}{\partial{x^{(0)}}\partial{x^{(n)}}} \\ \frac{\partial^2{f}}{\partial{x^{(1)}}\partial{x^{(0)}}} & \frac{\partial^2{f}}{\partial{x^{(1)}}\partial{x^{(1)}}} & \cdots & \frac{\partial^2{f}}{\partial{x^{(1)}}\partial{x^{(n)}}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^2{f}}{\partial{x^{(n)}}\partial{x^{(0)}}} & \frac{\partial^2{f}}{\partial{x^{(n)}}\partial{x^{(1)}}} & \cdots & \frac{\partial^2{f}}{\partial{x^{(n)}}\partial{x^{(n)}}} \\ \end{bmatrix}$$ 海森矩阵的理解:
- 作为二阶偏导构成的方阵$H$,每一行/列都对应着参数$w$在一个维度上的偏导
- 方阵$H$中的第$i$行第$j$列元素$h_{ij}$,表示函数关于该参数在第$i$轴和第$j$轴的二阶偏导
- 方阵对角线上的元素值描述了参数值在某一维度的变化,对函数关于该参数对应维度的梯度的影响
- 方阵非对角线上的元素值描述了参数值在某一维度的变化,对函数关于该参数其他维度的梯度的影响
- 方阵非对角线上的元素值对应着函数关于该梯度在不同维度上的”纠缠(twist)“,如果不同维度上的梯度不存在这种相关性,则对应非对角线的元素值为0