1 切平面逼近
偏导描述的是只考虑一个自变量变化时，因变量的变化情况。而当所有自变量都发生变化时（$x\to x+\Delta x,y\to y+\Delta y$），因变量$z=f(x,y)$的变化符合以下公式： $$\Delta z \approx f_x\Delta x+f_y \Delta y$$
证明：
- 对于点$(x_0,y_0)$，假设其对应的函数值为$z_0$
- 先固定$y=y_0$，根据偏导的几何性质可得切线$L_1:z=z_0+f_x(x-x_0)$
- 再固定$x=x_0$，根据偏导的几何性质可得切线$L_2:z=z_0+f_y(y-y_0)$
- 两条切线决定了一个切平面$S:z=z_0+f_x(x-x_0)+f_y(y-y_0)$，得证
2 极值与最优化
当$f_x=0$且$f_y=0$时，切平面将处于水平。$f_x=0$意味着函数图像在平行于$xoz$的平面上存在极值点，$f_y=0$意味着函数图像在平行于$yoz$的平面上存在极值点
当这两个极值点不一致时，则意味着函数图像在此处存在鞍点；当两个极值点均为最大极值点时，则意味着函数图像在此处存在最大极值点；当两个极值点均为最小极值点时，则意味着函数图像在此处存在最小极值点
极值常用于处理最优化问题，并通过寻找偏导均为0的点，实现最优化问题的求解。其中最常见的一种方法就是最小二乘法
此小节所描述的极值点，均为局部极值点，并非指全局极值点，即最值点
3 最小二乘法
最小二乘法的核心在于寻找总误差平方和$D$最小，以线性回归为例，线性回归模型的预测值为$ax_i+b$，对应的真实值为$y_i$。则总误差平方和为： $$D=\Sigma[y_i-(ax_i+b)]^2$$ 其求解方式也很简单，令偏导依次等于0： $$\frac{\partial{D}}{\partial{a}}=0,\frac{\partial{D}}{\partial{b}}=0$$ 即可求得未知参数$a,b$的最优解
对于指数拟合问题$y=ce^{ax}$，可以通过对数化转为线性拟合问题$lny=lnc+ax$
最小二乘法也适用于多项式回归模型，比如对于$y=ax^2+bx+c$的拟合问题，其对应的总误差平方和为$D=\Sigma[y_i-(ax_i^2+bx_i+c)]^2$，分别计算偏导$D_a'=0$，$D_b'=0$，$D_c'=0$即可得到关于未知参数$(a,b,c)$的$3\times 3$线性方程组，进而实现参数的求解
4 参考
