分类目录归档:学习

图表示学习

图表示学习方法一般包括图嵌入表示和图神经网络

  • 图嵌入表示(Node Embedding)为每个节点学习一个嵌入表示(低维稠密向量),使得在原始网络中相似的节点,它们的嵌入表示也更为相似
  • 图神经网络(Graph Neural Networks)通过聚合邻域节点的信息来生成节点的表示

图嵌入表示

基于随机游走的图嵌入经典方法:

  • 等长度、无偏的随机游走:DeepWalk (2014 KDD Perozzi et al.)
  • 有偏的、局部与全局视

Read more

循环神经网络

循环神经网络(RNNs):具有隐状态、不同层参数共享的神经网络

常见的三种基础 RNNs :RNN、GRU、LSTM

RNN

隐变量模型:使用隐状态 $h_{t-1}$ 存储前 $t-1$ 步的序列信息 $$P(x_t|x_{t-1},...,x_1)\approx P(x_t|h_{t-1})$$ $$h_t=f(x_t,h_{t-1})$$ 循环神经网络(recurrent neural networks,RNNs) 是具有隐状态的神经网络

假设时刻 $t$ 的输入为 $X_t \in \mathbb{R}^{n\times d}$,对应的权重参数为 $W

Read more

卷积神经网络

卷积神经网络(CNN):引入了卷积操作的神经网络

普通卷积

严格来说,卷积层是个错误的叫法,因为它所表达的运算其实是互相关运算(cross-correlation)

二维互相关运算示例:

汇聚/池化层

池化(pool)层的优点:降低卷积层对位置的敏感性

常用池化层分两种:最大池化层和平均池化层,前者示例如下:

类似于卷积层,池化层也会有填充和步幅,使用大于 1 的步幅可以起到降维的作用

不同于卷积层,池化层在每个输入通道上是单独计算的,所以池化层的输出通道数等于输入通道数

膨胀卷积

膨胀(dilated)卷积,也称

Read more

时序预测建模

前置知识:时间序列分析时间序列距离测度

1 基础时序方法

均值回归:对历史一段时间的值取平均,作为未来每个时刻的预测

指数平滑:预测值是过去一段时间内观测值(或已预测值)的加权平均值

普通回归预测:借助时序相关特征(如节假日、周期性)实现建模预测

更多时序类衍生特征可参考 tsfresh概述

2 ARIMA

自回归(AR)模型:

  • 用变量自身的历史时间数据对变量进行预测
  • AR 模型需要满足时序平稳性的要求,时序间需要存在自相关性
  • p 阶 AR模型的公式定义如下:$y_t=\mu+\Sigma_{i=1}^p\gamma_iy_{

Read more

镇静药物

摘自镇静药物的分类、特点和临床选择

常见的镇静药物包括巴比妥类药物和非巴比妥类药物。后者主要包括苯二氮䓬类药物、丙泊酚、依托咪酯、右美托咪定和环泊酚等。镇静药物通过多种机制影响神经递质的释放、再摄取和代谢,以抑制中枢神经系统的兴奋性,从而产生镇静效应

各类常见镇静麻醉药物应用于麻醉诱导后血流动力学变化:

  • CI,心指数;HR,心率;LVSWI,左室每搏做功指数;MBP,平均血压;
  • PAP,肺动脉压;PVR,肺血管阻力;PCWP,肺动脉楔压;RAP,右房压;
  • SV,每搏输出量;SVR,全身血管阻力;—:无数值

巴比妥

Read more

肺部并发症 PPC

术后肺部并发症(postoperative pulmonary complications, PPCs)是术后呼吸系统相关并发症的统称,是导致患者术后住院时间延长、医疗费用和病死率增加的重要原因之一。

定义:PPCs 可视为一种复合结局指标,主要包括肺不张、气胸、呼吸道感染、呼吸衰竭、胸腔积液、肺炎、急性呼吸窘迫综合征(acute respiratory distress syndrome, ARDS)、肺栓塞等,目前尚无统一的定义。临床中主要包括4种常见的诊断方案。

高达 40%的患者在心脏手术后会出现术后肺部并发症(PPC),仅次于心血管并发症

PPC 相关的风险因素:

  1. 术前患者自身

Read more

GLUE 通用语言理解评估

GLUE(General Language Understanding Evaluation,通用语言理解评估)是一种常用的评估工具,用于评估 NLP 模型在一系列任务上的有效性。

GLUE 基准测试由纽约大学和谷歌的研究人员开发的。开发 GLUE 的动机是需要一个全面的 NLP 模型评估框架,该框架测试语言理解的不同方面并提供更完整的描述

官网为: https://gluebenchmark.com/

GLUE 共包含 3 个分类 9 个任务:

  • 单句任务包括 CoLA、SST-2
  • 相似性任务包括 MRPC、STS-B、QQP
  • 语音理解任务包括 MNLI、QNLI、RTE、WNLI

Read more

上下文无关语法 CFG

上下文无关文法(context-free grammar,CFG):

  • CFG 是一种形式语言的描述方式,用于描述一类语言结构,其中语言中的句子可以被分解为符号串,这些符号串是由一组规则递归定义的
  • 上下文无关文法重要的原因在于它们拥有足够强的表达力来表示大多数程序设计语言的语法;实际上,几乎所有程序设计语言都是通过上下文无关文法来定义的。
  • 另一方面,上下文无关文法又足够简单,使得我们可以构造有效的分析算法来检验一个给定字符串是否是由某个上下文无关文法产生的

CFG的形式化定义可以表示为一个四元组 $G=(V,T,P,S)$

  • 其中 $V$ 是非终结符号(即可以继续分解的符号)的集合,$T

Read more

特征选择

1 常见特征选择方法

特征评价指标:信息准则类指标

常用特征选择方法:

  • 基于正则惩罚的特征选择(比如Lasso 回归
  • 删除方差特别低的特征(sklearn.feature_selection.VarianceThreshold
  • 删除高相关性的特征(比如计算皮尔逊相关系数矩阵)
  • 单变量特征选择(互信息、方差分析、卡方检验)
  • 基于评价方法的贪婪特征选择(前向/后向搜索)
  • 基于特征重要性的选择(集成树模型、SHAP分析)

2 Relief 特征选择法

Relief(relative features)是一种处理二分类问题的常用特征选

Read more

Python 管理版本和包

1 pip 官方包管理工具

官方文档

常用指令:

pip install sampleproject
pip install sampleproject==1.0.4 # 指定版本
pip

Read more