分类标签归档：动量法

梯度下降法族

发表评论

1145 views

• 1 梯度下降法-简单版
• 2 梯度下降法-矩阵版
• 3 批次（Batch）梯度下降法
• 4 随机（Stochastic ）梯度下降法
• 5 小批次（mini-batch）梯度下降法
• 6 带有动量（Momentum）的梯度下降法
• 7 自适应梯度下降（AdaGrad）算法
• 8 RMSProp算法
• 9 AdaDelta算法
• 10 Adam算法
• 11 其他优化技巧
• 进阶阅读
• 参考

1 梯度下降法-简单版

大部分机器学习模型的构建都是寻找最小损失函数的过程，而梯度下降法（Gradient Descent）便是一种常见迭代优化算法，用于寻找损失最小的参数解。

以简单二次函数为例进行算法的简单说明，模型形式

Read more