个人笔记

1 Unit 1 知识点简单概括

截止到第七节课，本课程的第一单元：向量和矩阵（Unit 1 Vectors and matrices）部分内容已完成，内容脉络简单梳理如下：

• 向量的定义和点乘（向量信息、点积的应用）
• 行列式和叉积（行列式几何意义、叉积与右手法则）
• 矩阵运算与逆矩阵（线性变换、伴随矩阵、代数余子式）
• 平面方程和参数方程（线性方程组、摆线轨迹）
• 向量与方程的综合应用（加速度、开普勒第二定律、万有引力）

Read more

1 速度与加速度

由上一节5.直线和曲线的参数方程可知，向量$\vec{r}(t)=x(t)\hat{i}+y(t)\hat{j}+z(t)\hat{k}$

且摆线轨迹$\vec{r}(\theta)=<a\theta-asin(\theta),a-acos(\theta)>$

定义速度： $$\vec{v}=\frac{d\vec{r}}{dt}=<\frac{dx}{dt},\frac{dy}{dt},\frac{dz}{dt}>$$

设半径$a=1$，则轨迹向量对应的速度$\vec{v}=

Read more

1 直线的参数方程

假设$t=0$和$t=1$分别对应直线上的点$Q_0=(-1,2,2)$和$Q_1=(1,3,-1)$

易得$\overrightarrow{Q_0 Q(t)}=t\overrightarrow{Q_0 Q_1}$并且$Q(t)=(x(t),y(t),z(t))$，所以$Q(t)=Q_0+t\overrightarrow{Q_0 Q_1}$。即：

$$\begin{equation} \left\{ \begin{gathered} x(t) = -1+2t

Read more

Read more

1 图像几何变换

将一幅图像中的坐标位置映射到另一幅图像中的新坐标位置

2D几何变换分类：

1. 刚体变换：主要操作包括平移+旋转，变换前后的欧式距离不变，自由度为3
2. 相似变换：主要操作包括平移+旋转+缩放，具有保角性，不同点之间的距离比保持不变，自由度为

Read more

自编码器，一种借助神经网络结构进行无监督学习的算法，常用于降维

自编码器主要有两个部分组成

1. 编码器，用于将输入数据编码为低维稠密向量
2. 解码器，根据低维稠密向量解码还原输入向量

最简单的自编码器形式是一个前馈无循环的神经网络，如下所示：

（图源：维基百科-自编码器）

自编码器VS主成分分析（PCA）

• 自编码器是非线性降维，PCA是线性降维，前者效果一般更好
• 前者通过梯度下降法训练，训练速度慢且不容易收敛
• 后者通过特征分解直接计算，计算成本低效率高

#自编码器

Read more

主成分分析（Principal components analysis，PCA），一种常用的线性降维方法

算法步骤：

1. 构建数据的协方差矩阵，并进行特征分解
2. 特征向量描述的数据的主成分，特征值描述这一成分对应的权重
3. 通过截断特征值较低的部分，保留数据集当中对方差贡献最大的特征
4. 最终得到的降维特征无共线性（正交），但解释性差

图像理解：

（图源：维基百科-主成分分析）

• 上图为二元高斯分布（正态分布），均值为$(1,3)$，方差为$(0.878,0.478)$
• 黑色向量的方向描述的是协方差矩阵对应的特征向量
• 黑色向量的长度描述的是特征向量对应的特征值

PCA 的优缺点分析：

• 计算简单

Read more

尺度不变特征变换匹配算法（Scale Invariant Feature Transform 简称 SIFT）

SIFT算法常用来提取用于描述影像中的局部性特征，算法主要从空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量

算法过程：

1. 对图像进行不同尺度的高斯模糊和降采样，构建高斯金字塔
2. 借助高斯差分函数（DOG 算子）代替微分检测离散空间的极值，作为兴趣点
3. 通过拟合三维二次函数与插值，排除不显著与边缘的兴趣点，保留关键点
4. 采集关键点在高斯金字塔邻域内像素的梯度与方向，分配主方向给关键点
5. 保留峰值大于主方向峰值80％的方向作为该关键点的辅方向，增强匹配的鲁棒性
6. 对关键点建立向量描述（

Read more

中文标题：Capsules与自编码器变体

英文标题：Transforming Auto-Encoders

发布平台：ICANN

Artificial Neural Networks and Machine Learning –

Read more

期望最大化（Expectation-Maximum，简称EM）算法是一种机器学习常见基础算法

EM算法常用于处理存在隐变量的最大似然估计模型，训练过程简单描述如下：

1. E步，固定模型参数，优化潜在变量分布
2. M步，固定潜在变量分布，优化模型参数
3. 重复EM步骤，直至收敛或达到最大迭代次数

以K-means聚类为例进行直观理解：

1. 聚类簇的质心就是潜在变量
2. E步，随机化/更新簇的质心
3. M步，根据质心重新分配样本
4. 重复EM步骤，直至簇的质心不再变化或达到最大迭代次数

EM算法作为一种基础算法，广泛应用于多种算法模型的学习过程，比如：隐马尔可夫模型 HMM

这类算法思想在其他模型中也经常遇见，比

Read more