梯度下降法族 发表评论 1119 views 1 梯度下降法-简单版 2 梯度下降法-矩阵版 3 批次(Batch)梯度下降法 4 随机(Stochastic )梯度下降法 5 小批次(mini-batch)梯度下降法 6 带有动量(Momentum)的梯度下降法 7 自适应梯度下降(AdaGrad)算法 8 RMSProp算法 9 AdaDelta算法 10 Adam算法 11 其他优化技巧 进阶阅读 参考 1 梯度下降法-简单版 大部分机器学习模型的构建都是寻找最小损失函数的过程,而梯度下降法(Gradient Descent)便是一种常见迭代优化算法,用于寻找损失最小的参数解。 以简单二次函数为例进行算法的简单说明,模型形式 Read more