分类目录归档:学习

Optuna-超参优化

1 基本介绍

Optuna 是一个为机器学习设计的自动超参数优化软件框架

  • 轻量级、多功能和跨平台架构;依赖少,安装简单
  • Python式搜索空间(条件语句和循环均为Python语法)
  • 高效的优化算法;先进的超参采样方法,支持剪枝算法
  • 易用的并行优化;少量改动代码即可实现多服务器并行
  • 便捷的可视化;支持各种绘图函数展示优化历史记录

项目地址
官方文档
中文文档 :不推荐,因为很久没更新了(230331)

截至230331,Op

Read more

核密度估计

核密度估计(kernel density estimation,简称KDE)是核平滑对概率密度估计的应用,即一种以核为权重估计随机变量概率密度函数的非参数方法。由Rosenblatt (1955)和Emanuel Parzen(1962)提出,又名Parzen窗(Parzen window)

核密度估计的实现:

  • 假设$(x_1,x_2,...,x_n)$是来自同一个单变量未知分布中的独立样本
  • 核密度估计可以根据这些样本推测出该分布的概率密度函数: $$\hat{f}_h(x)=\frac{1}{n}\Sigma_{i=1}^nK_h(x-x_i)=\frac{1}{nh}\Sigma_{

Read more

贝叶斯优化

贝叶斯优化是一种通用的黑盒优化算法,不需要计算梯度便可快速解决最优化问题,贝叶斯优化适合处理目标函数计算成本高或求导困难的情况。贝叶斯优化最常用的场景是超参搜索(尤其是神经网络类算法,计算成本高,超参数还多)

1 贝叶斯优化与代理模型

贝叶斯优化(Bayesian Optimization,BO)

  • 目的是要找到一组最优的超参组合x,能使评价/目标函数f(x)达到全局最优

  • 由于评价/目标函数f(x)计算成

Read more

高斯过程回归

1 高斯过程

给定均值向量和协方差矩阵,可以唯一确定一个高斯分布(Gaussian distribution)

给定均值函数和协方差函数,可以唯一确定一个高斯过程(Gaussian Process,GP)

假设自变量为时间$t$,则每一个时刻$t$,高斯过程都对应着一个高斯分布

当时间$t$是连续型变量时,整个高斯过程便对应着无数个高斯分布,所以高斯过程可看作无限维高斯分布

高斯分布的两

Read more

hyperopt-超参优化

1 基本介绍

hyperopt通过在超参空间内快速搜索,寻找最优的模型超参

  • 目前已实现搜索算法:随机搜索、TPE和自适应TPE
  • 低代码,易上手;支持分布式运算

项目地址
中文文档

注意:虽然该项目有6.6k个⭐,但已经有一年半未更新

截至撰写本文的230315,此项目的上次更新日期是211129

补充说明:对tpe算法原理感兴趣的读者可参阅论文阅读-TPE算法

2 简单上手

  1. 最简单的官方示例:
# 定义目标函数
def objective(args): # objective = c1+c2^2
    

Read more

PyCaret-低代码机器学习

1 基本介绍

PyCaret是一个开源的、低代码的Python机器学习库,可以实现机器学习工作流程的自动化。作为一个端到端的机器学习和模型管理工具,PyCaret可以成倍地缩短实验周期,实现更有效率的科研探索。

  • 以包装器的形式大幅度缩减代码量(用几行代码实现数百行代码的功能)
  • 主要围绕 scikit-learn、XGBoost、LightGBM、CatBoost、Optuna、Hyperopt、Ray等框架
  • 支持初级和中等难度的数据分析与建模工作,适合作为前期探索工具
  • 主要支持以下几种算法场景:聚类,异常检测,关联规则,分类&回归,时序分析

Read more

TableOne-统计检验一体化

1 基本介绍

TableOne是一个很简单实用的小工具,能对数据进行基本统计展示

基本特性:

  • 给出指定列的缺失情况和基本信息(均值方差)
  • 基于pandas的DataFrame结构存储结果,方便格式转换
  • 可灵活制定统计检验与对比分析策略
  • 参数丰富,支持简单的数据预处理与输出格式限制

使用注意事项:

  • 默认会将列转换为数值型,类别型变量可通过参数categorical显式指定
  • 支持第三方的统计检验方法,但需要人为规范输出格式
  • 检验差异性时会根据数据特性自动调整检验方法(正态数值变量使用t检验;非正态数值型变量使用卡方检验;非数值型变量使用秩和检验)

Read more

中介效应分析

1 基本介绍

中介效应(mediation effect)分析能解释自变量 X 对因变量 Y 的影响是如何通过中介变量(mediator) M实现的,是多变量研究的重要统计方法。

中介效应 VS 间接效应(indirect effect)

  • 在只有一个中介变量的模型中,二者是等价的
  • 当中介变量大于1时,间接效应可以是某特定中介变量的中介效应,也可以是某几个或所有中介效应的和

中介效应 VS “遮掩效应” (suppression effects)

  • 当自变量 X

Read more

一次性密码算法

1 一次性密码OTP

一次性密码(英语:one-time password,简称OTP),又称动态密码或单次有效密码,是指计算机系统或其他数字设备上只能使用一次的密码,有效期为只有一次登录会话或交易。一次性密码一般会配合账号密码等安全登入机制,实现双因素认证(two-factor authentication)

HOTP和TOTP是两种常见的OTP算法

2 HOTP算法

基于HMAC的一次性密码算法(英语:HMAC-based One-time Password algorithm,HOTP)

HMAC 是Ke

Read more

常见医疗设备

ECMO

ECMO(体外膜肺氧合机),俗称“人工肺”。ECMO能够对重症心肺功能衰竭患者提供持续的体外呼吸与循环,工作原理是将患者的静脉血引流到体外,经过ECMO循环后,排出二氧化碳、补充氧气,然后再泵回体内,同时具备辅助血液循环和呼吸的两种功能。

由于缺少国内替代和定价权,目前国内一台ECMO价格高达150万~200万元,开机耗材费用也要2.5万~7万元。ECMO技术门槛非常高,研发周期也很长(几年到几十年不等)。目前,ECMO市场主要被德国迈柯唯、德国索林、美国美敦力三家垄断,其中迈柯唯占市场8成。

ECMO的国内发展:

  • 2020年4月

Read more