1 最小二乘法
狭义上的最小二乘法，主要针对线性回归问题，以残差平方和的总和最小为原则，化一般情况下，运用矩阵运算寻找最优的系数解，具体实现可参考1 线性回归的求解过程。
广义上的最小二乘法，增加了针对非线性问题的处理，围绕均方误差构建损失函数，使用迭代优化策略（比如梯度下降法）解决最小化优化问题
狭义最小二乘法的算法分析：
- 求解方便，不需要迭代优化，可以直接通过矩阵运算求出解析解
- 仅能处理线性回归问题，当特征维度高时矩阵求逆的运算成本偏高
发表评论
927 views