1 多模型融合的优势
Why it helps to combine models
模型的偏差与方差:
- 对于回归模型来说,预测的平方误差可以分解为偏差和方差
- 当模型过于简单时,预测精度低,此时模型的偏差过大
- 当模型过于复杂时,模型缺少泛化能力,模型方差过大
- 多个偏差大的简单模型通过融合后可以提高最终的预测精度(降低偏差)
- 多个过拟合(高方差)的模型融合后可以提高模型的稳定性(降低方差)
当单模型间的差异性(不是指性能差异)越大时,融合模型的效果越好
为什么模型融合会降低方差:
- 假设所有模型的预测均值为$\overline{y}$: $$