作者文章归档:王半仙

期望最大化 EM 算法

期望最大化(Expectation-Maximum,简称EM)算法是一种机器学习常见基础算法

EM算法常用于处理存在隐变量的最大似然估计模型,训练过程简单描述如下:

  1. E步,固定模型参数,优化潜在变量分布
  2. M步,固定潜在变量分布,优化模型参数
  3. 重复EM步骤,直至收敛或达到最大迭代次数

K-means聚类为例进行直观理解:

  1. 聚类簇的质心就是潜在变量
  2. E步,随机化/更新簇的质心
  3. M步,根据质心重新分配样本
  4. 重复EM步骤,直至簇的质心不再变化或达到最大迭代次数

EM算法作为一种基础算法,广泛应用于多种算法模型的学习过程,比如:隐马尔可夫模型 HMM

这类算法思想在其他模型中也经常遇见,比

Read more

基于可信网络解析图像

中文标题:基于可信网络的图像解析

英文标题:Learning to Parse Images

发布平台:NIPS

NeurIPS

发布日期:1999-11

引用量(非实时):72

DOI:缺失

作者:Geoffrey E Hinton, Zoubin

Read more

Capsules网络与动态路由

中文标题:Capsules网络与动态路由

英文标题:Dynamic Routing Between Capsules

发布平台:NIPS

Advances in neural informat

Read more

基于动态辩论的知识图推理

中文标题:基于动态辩论的知识图推理

英文标题:Reasoning on Knowledge Graphs with Debate Dynamics

发布平台:AAAI

Proceeding

Read more

终端常用命令

1 重定向符

输入重定向: <:将指定文件的内容作为前面命令的参数

输出重定向: >:直接把输出覆盖保存到指定文件 >>:把输出尾部追加保存到指定文件

/dev/null

  • 类Unix系统中的一个特殊的设备文件
  • 作用是像垃圾桶一样接收一切写入其中的数据并丢弃
  • 写入操作会提示成功,读取操作会返回一个EOF报错

2 nohup命令

用于不挂断地运行命令(关闭当前session不会中断程序,只能通过kill等命令删除) 默认情况下该程序的输出都会被重定向到nohup.out文件中,也可以通

Read more

6.《动手学深度学习》卷积神经网络

1 从全连接层到卷积层

计算机视觉应具备的两个特性:

  1. 平移不变性(translation invariance):树上的一片叶子落到地上,它还是一片叶子
  2. 局部性(locality):一只眼睛和另一只眼睛在同一张脸上,才是一双眼

为了满足以上两点,神经网络引入了卷积层的概念

复习:卷积的公式定义如下:

  1. 连续型对象:$(f*g)(x)=\int{f(z)g(x-z)dz}$
  2. 离散型对象:$(f*g)(i)=\Sigma_a{f(a)g(i-a)}$
  3. 二维张量:$(f*g)(i,

Read more

BioBERT_生物医学领域的预训练模型

中文标题:生物医学领域的预训练模型BioBERT

英文标题:BioBERT: a pre

Read more

4.矩阵与平面方程

1 平面方程

方程$ax+by+cz=d$定义了一个平面,此方程的矩阵形式如下: $$\left[ \begin{matrix} a \\ b \\ c \\ \end{matrix} \right] \cdot \left[ \begin{matrix} x \\ y \\ z \\ \end{matrix} \right] =d$$ 上面的式子也可以整理如下: $$\left[ \begin{matrix} a \\ b \\ c \\

Read more

5.《动手学深度学习》深度学习计算

1 层和块

神经网络一般包含多层(layer)重复的特殊结构,即层组(groups of layers)

神经网络引入块(block)的概念,用于抽象地表示层、层组或整个模型

1.1 自定义块

从编程的角度来看,块由类(class)表示,类内需要包含前向传播函数和必需的参数,得益于自动微分的机制,后向传播函数是隐式的,一般无需单独定义

PyTor

Read more

3.矩阵与逆矩阵

1 矩阵

矩阵(Matrices)常用于描述变量间的线性关系

以坐标轴$P=(x_1,x_2,x_3)$变换到$(u_1,u_2,u_3)$为例,假设二者间的线性关系如下所示: $$\begin{equation} \left\{ \begin{gathered} u_1 = 2x_{1} + 3x_{2} + 3x_{3} \ \\ u_2 = 2x_{1} + 4x_{2} + 5x_{3} \ \\ u_3 = x_{1} + x_{2} + 2x_

Read more