主成分分析 PCA

主成分分析(Principal components analysis,PCA),一种常用的线性降维方法

算法步骤:

  1. 构建数据的协方差矩阵,并进行特征分解
  2. 特征向量描述的数据的主成分,特征值描述这一成分对应的权重
  3. 通过截断特征值较低的部分,保留数据集当中对方差贡献最大的特征
  4. 最终得到的降维特征无共线性(正交),但解释性差

图像理解:

(图源:维基百科-主成分分析)

  • 上图为二元高斯分布(正态分布),均值为$(1,3)$,方差为$(0.878,0.478)$
  • 黑色向量的方向描述的是协方差矩阵对应的特征向量
  • 黑色向量的长度描述的是特征向量对应的特征值

PCA 的优缺点分析:

  • 计算简单

Read more

SIFT算法

尺度不变特征变换匹配算法(Scale Invariant Feature Transform 简称SIFT)

SIFT算法常用来提取用于描述影像中的局部性特征,算法主要从空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变量

算法过程:

  1. 对图像进行不同尺度的高斯模糊和降采样,构建高斯金字塔
  2. 借助高斯差分函数(DOG算子)代替微分检测离散空间的极值,作为兴趣点
  3. 通过拟合三维二次函数与插值,排除不显著与边缘的兴趣点,保留关键点
  4. 采集关键点在高斯金字塔邻域内像素的梯度与方向,分配主方向给关键点
  5. 保留峰值大于主方向峰值80%的方向作为该关键点的辅方向,增强匹配的鲁棒性
  6. 对关键点建立向量描述(位置

Read more

Capsules与自编码器变体

中文标题:Capsules与自编码器变体

英文标题:Transforming Auto-Encoders

发布平台:ICANN

Artificial Neural Networks and Machine Learning –

Read more

期望最大化EM算法

期望最大化(Expectation-Maximum,简称EM)算法是一种机器学习常见基础算法

EM算法常用于处理存在隐变量的最大似然估计模型,训练过程简单描述如下:

  1. E步,固定模型参数,优化潜在变量分布
  2. M步,固定潜在变量分布,优化模型参数
  3. 重复EM步骤,直至收敛或达到最大迭代次数

K-means聚类为例进行直观理解:

  1. 聚类簇的质心就是潜在变量
  2. E步,随机化/更新簇的质心
  3. M步,根据质心重新分配样本
  4. 重复EM步骤,直至簇的质心不再变化或达到最大迭代次数

EM算法作为一种基础算法,广泛应用于多种算法模型的学习过程,比如:[[1_study/algorithm/概率图类模型/隐马尔可

Read more

基于可信网络解析图像

中文标题:基于可信网络的图像解析

英文标题:Learning to Parse Images

发布平台:NIPS

NeurIPS

发布日期:1999-11

引用量(非实时):72

DOI:缺失

作者:Geoffrey E Hinton, Zoubin

Read more

Capsules网络与动态路由

中文标题:Capsules网络与动态路由

英文标题:Dynamic Routing Between Capsules

发布平台:NIPS

Advances in neural informat

Read more

基于动态辩论的知识图推理

中文标题:基于动态辩论的知识图推理

英文标题:Reasoning on Knowledge Graphs with Debate Dynamics

发布平台:AAAI

Proceeding

Read more

终端常用命令

1 重定向符

输入重定向: <:将指定文件的内容作为前面命令的参数

输出重定向: >:直接把输出覆盖保存到指定文件 >>:把输出尾部追加保存到指定文件

/dev/null

  • 类Unix系统中的一个特殊的设备文件
  • 作用是像垃圾桶一样接收一切写入其中的数据并丢弃
  • 写入操作会提示成功,读取操作会返回一个EOF报错

2 nohup命令

用于不挂断地运行命令(关闭当前session不会中断程序,只能通过kill等命令删除) 默认情况下该程序的输出都会被重定向到nohup.out文件中,也可以通

Read more

6.《动手学深度学习》卷积神经网络

1 从全连接层到卷积层

计算机视觉应具备的两个特性:

  1. 平移不变性(translation invariance):树上的一片叶子落到地上,它还是一片叶子
  2. 局部性(locality):一只眼睛和另一只眼睛在同一张脸上,才是一双眼

为了满足以上两点,神经网络引入了卷积层的概念

复习:卷积的公式定义如下:

  1. 连续型对象:$(f*g)(x)=\int{f(z)g(x-z)dz}$
  2. 离散型对象:$(f*g)(i)=\Sigma_a{f(a)g(i-a)}$
  3. 二维张量:$(f*g)(i,

Read more

BioBERT_生物医学领域的预训练模型

中文标题:生物医学领域的预训练模型BioBERT

英文标题:BioBERT: a pre

Read more