分类目录归档:Hinton机器学习与神经网络

10.《机器学习与神经网络》多神经网络组合以提高泛化能力

1 多模型融合的优势

Why it helps to combine models

模型的偏差与方差:

  • 对于回归模型来说,预测的平方误差可以分解为偏差和方差
  • 当模型过于简单时,预测精度低,此时模型的偏差过大
  • 当模型过于复杂时,模型缺少泛化能力,模型方差过大
  • 多个偏差大的简单模型通过融合后可以提高最终的预测精度(降低偏差)
  • 多个过拟合(高方差)的模型融合后可以提高模型的稳定性(降低方差)

当单模型间的差异性(不是指性能差异)越大时,融合模型的效果越好

为什么模型融合会降低方差:

  • 假设所有模型的预测均值为$\overline{y}$: $$

Read more

9.《机器学习与神经网络》提高神经网络的泛化能力

本节课介绍了处理模型过拟合的常见方法(正则化项、惩罚因子),并展示了基于贝叶斯解读的一种实践有效的惩罚因子调参方法。

1 回顾过拟合

Reminder:Overfitting

训练数据中不仅蕴含着正确的规律/知识值

Read more

8.《机器学习与神经网络》循环神经网络RNN(二)

1 Hessian-Free 优化概述

A brief overview of “Hessian-Free” optimization

1.1 最大的误差减小量

The maximum error reduc

Read more

7.《机器学习与神经网络》循环神经网络RNN(一)

1

Read more

6.《机器学习与神经网络》模型优化:如何加快学习

Read more

5.《机器学习与神经网络》用神经网络进行物体识别

1 图像识别的困难之处

Why object recognition is difficult

  • 图像割裂:很难决定部件与物体的归属关系,物体和物体也存在重叠问题
  • 光照:像素的亮度即会受到物体影响,也会受到光照影响
  • 变形:物体可能有多个形态,比如阿拉伯数字2的多种写法。
  • 分类的主观性:物体常常根据用途分类,同一个用途的物体常常有多

Read more

4.《机器学习与神经网络》词的向量表达

1 学会预测下一个词

Learning to predict the next word

1.1 关系信息

下图包含了家庭的关系信息,其

Read more

3.《机器学习与神经网络》反向传播过程

1 线性神

Read more

2.《机器学习与神经网络》感知器的学习过程

1 主流神经网络架构

An overview of the main types of neural network architecture

1.1 前馈神经网络

Feed-forward neura

Read more

1.《机器学习与神经网络》神经网络入门

1 为什么需要机器学习

Why do we need machine learning?

面对一个复杂而多变的场景,我们很难通过单纯的程序逻辑去诠释:

  • 如何在复杂环境中判断三维物体在不同灯光和角度下的状态?
  • 如何合理推测信用卡欺诈的可能性?欺诈是一个动态可变的过程

机器学习的优势:

  • 可以通过示例的输入输出进行算法自动学习,得到海量弱规则
  • 好的(没有过拟合的)模型不仅适用于训练集,也适用于新的数据
  • 面对动态可变的过程,可以通过新增数据训练,不断优化完善模型

神经网络

Read more