个人笔记

1 从全连接层到卷积层

计算机视觉应具备的两个特性：

1. 平移不变性（translation invariance）：树上的一片叶子落到地上，它还是一片叶子
2. 局部性（locality）：一只眼睛和另一只眼睛在同一张脸上，才是一双眼

为了满足以上两点，神经网络引入了卷积层的概念

复习：卷积的公式定义如下：

1. 连续型对象：$(f*g)(x)=\int{f(z)g(x-z)dz}$
2. 离散型对象：$(f*g)(i)=\Sigma_a{f(a)g(i-a)}$
3. 二维张量：$(f*g)(i,

Read more

中文标题：生物医学领域的预训练模型BioBERT

英文标题：BioBERT: a pre

Read more

1 平面方程

方程$ax+by+cz=d$定义了一个平面，此方程的矩阵形式如下： $$\left[ \begin{matrix} a \\ b \\ c \\ \end{matrix} \right] \cdot \left[ \begin{matrix} x \\ y \\ z \\ \end{matrix} \right] =d$$ 上面的式子也可以整理如下： $$\left[ \begin{matrix} a \\ b \\ c \\

Read more

1 层和块

神经网络一般包含多层（layer）重复的特殊结构，即层组（groups of layers）

神经网络引入块（block）的概念，用于抽象地表示层、层组或整个模型

1.1 自定义块

从编程的角度来看，块由类（class）表示，类内需要包含前向传播函数和必需的参数，得益于自动微分的机制，后向传播函数是隐式的，一般无需单独定义

PyTor

Read more

1 矩阵

矩阵（Matrices）常用于描述变量间的线性关系

以坐标轴$P=(x_1,x_2,x_3)$变换到$(u_1,u_2,u_3)$为例，假设二者间的线性关系如下所示： $$\begin{equation} \left\{ \begin{gathered} u_1 = 2x_{1} + 3x_{2} + 3x_{3} \ \\ u_2 = 2x_{1} + 4x_{2} + 5x_{3} \ \\ u_3 = x_{1} + x_{2} + 2x_

Read more

1 点积与行列式

已知三角形面积的计算公式为$S=\frac{1}{2}absin\theta$

则由向量$\vec{A}$和$\vec{B}$组成的平行四边形面积为$S=|\vec{A}||\vec{B}|sin\theta$

设$\vec{A'}$为向量$\vec{A}$逆时针旋转$90°$的结果，$\vec{A'}$与$\vec{B}$的夹角为$\theta'=\frac{\pi}{2}-\theta$

则平行四边形面积为$S=|\vec{A'}||\vec{B}|cos\theta'=\vec{A

Read more

1 向量 Vector

向量$\vec{A}$主要由长度$|A|$和方向$dir(A)$组成，起点和终点不固定

2 点乘 Dot product

$$\vec{A}\cdot \vec{B}=\Sigma a_ib_i=|\vec{A}||\vec{B}|cos\theta$$ 点乘的结果是一个常数，同时包含了向量长度信息和夹角信息

点乘的证明（基于向量版余弦定理）：

• 定义向量$\vec{A}$和向量$\vec{B}$，量向量夹角为$\theta$
• 定义向量$\vec{C}=\vec{A}-\vec

Read more

1 背景知识

本文内容主要摘自：
《Is something better than pandas when the dataset fits the memory?》
代码地址

性能对比主要围绕5个操作展开：

1. 读取700M CSV文件：load_transactions
2. 读取30M CSV文件：load_identity
3. 基于某列（string格式）进行merge操作：merge
4. 分别对六列数据进行聚合操作（s

Read more

1 基本介绍

tsfresh是专门用于时序类数据的特征工程构建工具

tsfresh 主要特点：

1. 并行化高效自动构建特征
2. 兼容Python常见的数据格式（pandas或scikit-learn）

tsfresh 局限性：

1. 不适合流数据处理，更适合离线数据
2. 不包含模型训练的功能（尽量兼容scikit-learn，不重复造轮子）
3. 仅考虑时序的顺序性，对时间间隔差异较大

Read more

中文标题：知识图与属性图的比较

英文标题：Knowledge Graph Versus Property Graphs

发表平台：网络公开

发布日期：2020-08-19

作者：Dataversity公司

关键字：

Read more