常数初始化
将参数全部初始化为相同的常数（通常为 0，也称全零初始化）
- 常见于传统 ML（比如 SVM 或逻辑回归），一般不适用于神经网络的训练
- 神经网络需要一定的随机性来打破对称性（Symmetry breaking），否则同一层的所有神经元会以相同的初始值为起点，进行相同的梯度计算和更新，从而导致模型无法学习复杂特征
随机初始化
从均值为 $\mu$ （通常为 0）和方差为 $\sigma^2$ 的分布中随机采样
- 随机初始化一般考虑正态分布 $N(0,\sigma^2
发表评论
919 views
