个人笔记

Read more

1 从全连接层到卷积层

计算机视觉应具备的两个特性：

1. 平移不变性（translation invariance）：树上的一片叶子落到地上，它还是一片叶子
2. 局部性（locality）：一只眼睛和另一只眼睛在同一张脸上，才是一双眼

为了满足以上两点，神经网络引入了卷积层的概念

复习：卷积的公式定义如下：

1. 连续型对象：$(f*g)(x)=\int{f(z)g(x-z)dz}$
2. 离散型对象：$(f*g)(i)=\Sigma_a{f(a)g(i-a)}$
3. 二维张量：$(f*g)(i,

Read more

1 层和块

神经网络一般包含多层（layer）重复的特殊结构，即层组（groups of layers）

神经网络引入块（block）的概念，用于抽象地表示层、层组或整个模型

1.1 自定义块

从编程的角度来看，块由类（class）表示，类内需要包含前向传播函数和必需的参数，得益于自动微分的机制，后向传播函数是隐式的，一般无需单独定义

PyTor

Read more

1 多层感知机

线性意味着单调假设： 任何特征的单向变化都会导致模型输出的单向变化

感知机（perceptron）：最早的AI模型之一，不能解决诸如XOR（异或）的问题

感知机vs

Read more

1 线性回归

重点概念：

线性回归（linear regression）、标签（label）或目标（target）、特征（feature）或协变量（covariate）、权重（w

Read more

1 数据操作

1.1 基础入门

• 理解数据、元素个数（size）、高维矩阵与维度（shape）
• 通过索引[]与切片:来灵活读取高维矩阵
• reshape改变形状与矩阵初始化（zeros，ones）

1.2 运算符

• 按元素（elementwise）运算（加减乘除）
• 线性

Read more

1 基础概念解释说明

目标函数（objective function）、机器学习（machine learning，ML）、深度学习（deep learning，DL）、数据集（dataset）、参数（parameter）、模型（model）、学习算法（learning algorithm）、输入（input）和输出（output）

样本（example, sample）、独立同分布(independently and identically distribu

Read more