王半仙的学习分享

Read more

LDA 算法是一种监督学习的降维技术

• LDA 算法将高维空间中的d维数据通过投影转化成1维数据进行处理
• 对于训练数据，LDA 算法会让同类数据的投影点尽可能接近，异类数据尽可能远离
• 对于新数据分类，LDA 算法会先进行数据投影，再根据投影点位置来确定样本的类别

• 左图思路：让不同类别的平均点距离最远的投影方式
• 右图思路：让同类别的数据距离最近的投影方式

LDA算法降维流程如下：

​ 输入：数据集 $D = { (x_1,y_1),(x_2,y_2), ... ,(x_m,y_m) }$，其中样本 $x_i$ 是n维向量，$y_i \in {C_1, C_2, ..., C_k}$

Read more

1 传统机器学习

1.1 XGBoost

最常用的10个超参数（原生API，兼容Scikit-learn的API，常见取值范围）：

• num_boost_round：训练期间所需要的基学习器数量，默认100；在应对较大数据集时，一般控制在5000~10000左右（影响训练时间的重要因素）；一个常用技巧是先设定一个较高的数值，然后结合early-stopping来获得一个较优的模

Read more

1 DBSCAN算法概况

DBSCAN（Density-Based Spatial Clustering of Applications with Noise，基于密度的、对噪声鲁棒的空间聚类方法）是一种基于密度的经典聚类算法

2 DBSCAN算法细节

1. 遍历所有样本，寻找关键的核心点（邻域内样本数>=MinPoints）
2. 核心点及其邻域内的样本（包括其他核心点）形成了临时聚类簇
3. 当核心点A属于核心点B的临时聚类簇时，合并两处临时聚类簇
4. 重复以上过程，直至找不到新的可合并临时聚类簇

Read more

1 启发式算法

启发式算法（Heuristic Algorithms）通常是以问题为导向的（Problem Specific），没有一个通用的框架，每个不同的问题通常设计一个不同的启发式算法，通常被用来解组合优化问题

普通启发式算法一般是一种贪婪算法，需要根据特定问题进行特定设计

贪婪算法，也叫贪心算法

其基本思想是：每一步都采取当前状态下最好的选择，而不考虑全局最优解是否已经达到。在每一步中，贪心算法都会做出一个贪心决策，即选择当前状态下最优的解决方案，并且不考虑这个决策可能会导致的未来后果

以经典的装包问

Read more

1 基本概念

蚁群算法（Ant Colony Algorithm，ACA）由Marco Dorigo于1992年在他的博士论文中首次提出，该算法模拟了自然界中蚂蚁的觅食行为。

蚂蚁寻径的生物过程：

• 蚂蚁在寻找食物源时，会在其经过的路径上释放一种信息素，并能够感知其它蚂蚁释放的信息素。信息素浓度的大小表征路径的远近，信息素浓度越高，表示对应的路径距离越短
• 通常，蚂蚁会以较大的概率优先选择信息素浓度较高的路径，并释放一定量的信息素，以增强该条路径上的信息素浓度，这样，会形成一个正反馈
• 最终，蚂蚁能够找到一条从巢穴到食物源的最佳路径，

Read more

author: 王半仙 creation date: 2023-08-12 14:36 modification date: <%+ tp.file.last_modified_date("YYYY MMMM Do dddd HH:mm:ss ") %> tags: [<%+ tp.file.tags %>] pulish: true article_id: 2598

### 1 基本概念

P问题：能在多项式时间内解决的问题，比如快速排序/冒泡排序

NP问题：能在多项式时间内验证得出一个正确解的问题（不确保在多项式时间内找到答案）

N

Read more

本文中大部分算法都可通过R语言的latend包复现

1 GBTM

轨迹分组算法（Group-based trajectory model，GBTM）

• 最早由 Daniel Nagin 于 1999 年在知名心理学方法学杂志「Psychological Methods」开始推展
• 接着由 Bobby Jones 与 Daniel Nagin 于 2001 年发表了 SAS procedure2，于是此方法慢慢

Read more

HIS：医院信息系统(Hospital Information System)，为各部门提供病人诊疗/行政管理信息的收集/存储/处理/提取/交换

LIS：实验室信息管理系统(Laboratory Information Management System)，专为医院检验科设计的一套信息管理系统

PACS：医学影像存档与通讯系统(Picture archiving and communication systems)，医学图像的获取/显示/存贮/传送/管理的综合系统

RIS：放射信息管理系统(Radioiogy information system)，是优化医院放射科工作流程管理的软件系统,

Read more

首先，理解梯度向量是指向函数值增长最快的方向的：MIT18.02笔记-梯度的定义与理解

定义函数$f(x)$，其在点$x$处沿着方向$d$的变化率可用方向导数表示，即梯度与方向的乘积： $$Df(x;d)=\nabla f(x)^Td$$ 当$d=-\frac{\nabla f(x) }{ ||\nabla f(x)|| }$时，函数$f$在点$x$处的下降速率最大，即负梯度方向为最速下降方向

最速下降算法：在迭代过程，每次都选择负梯度方向搜索（对于寻找最小值的最优化问题）

最速下降算法步骤：

1. 初始化$x_1$，设定允许的最小误差$\epsilon$，迭代次数$k=1$
2. 对于第$k$次迭

Read more