分类目录归档:深度学习

10.《动手学深度学习》注意力机制

Read more

9.《动手学深度学习》现代循环神经网络

1 门控循环单元(GRU)

1.1 GRU概述

1_study/DeepLearning/基础神经网络/循环神经网络#GRU

1.2 代码

Read more

8.《动手学深度学习》循环神经网络

1 序列模型

与序列相关的有趣概念

  • 锚定(anchoring)效应:对于初始信息的过度重视,即常言道的”先入为主“
  • 享乐适应(hedonic adaption):突然有钱比一直有钱更快乐,长期吃美食然后再吃普通的食物会觉得难吃,即常言道的”由奢入俭难“

序列预测的相关概念:

  • 外推法(extrapolatio

Read more

13.《动手学深度学习》计算机视觉

Read more

12.《动手学深度学习》计算性能

1 编译器和解释器

首先需要理解编译和解释的联系与区别

二者的联系:都是将高级语言翻译成机器语言执行的过程

过程上的区别:编译是将源程序翻译成可执行的目标代码,翻译与执行是分开的;而解释是对源程序的翻译与执行一次性完成,不生成可存储的目标代码。

结果上的区别:编译的话会把输入的源程序翻译生成为目标代码,并存下来(无论是存在内存中还是磁盘上),后续执行可以复用;解释的话则是把源程序中的指令逐条解释,不生成也不存下

Read more

7.《动手学深度学习》现代卷积神经网络

Read more

6.《动手学深度学习》卷积神经网络

1 从全连接层到卷积层

计算机视觉应具备的两个特性:

  1. 平移不变性(translation invariance):树上的一片叶子落到地上,它还是一片叶子
  2. 局部性(locality):一只眼睛和另一只眼睛在同一张脸上,才是一双眼

为了满足以上两点,神经网络引入了卷积层的概念

复习:卷积的公式定义如下:

  1. 连续型对象:$(f*g)(x)=\int{f(z)g(x-z)dz}$
  2. 离散型对象:$(f*g)(i)=\Sigma_a{f(a)g(i-a)}$
  3. 二维张量:$(f*g)(i,

Read more

5.《动手学深度学习》深度学习计算

1 层和块

神经网络一般包含多层(layer)重复的特殊结构,即层组(groups of layers)

神经网络引入块(block)的概念,用于抽象地表示层、层组或整个模型

1.1 自定义块

从编程的角度来看,块由类(class)表示,类内需要包含前向传播函数和必需的参数,得益于自动微分的机制,后向传播函数是隐式的,一般无需单独定义

PyTor

Read more

4.《动手学深度学习》多层感知机

1 多层感知机

线性意味着单调假设: 任何特征的单向变化都会导致模型输出的单向变化

感知机(perceptron):最早的AI模型之一,不能解决诸如XOR(异或)的问题

感知机vs

Read more

3.《动手学深度学习》线性神经网络

1 线性回归

重点概念:

线性回归(linear regression)、标签(label)或目标(target)、特征(feature)或协变量(covariate)、权重(w

Read more