分类目录归档:学习

时序变点检测

变点检测的定义

变点检测(Change point detection, CPD)是指在时间序列中发现统计特性发生重大变化的点

变点检测示例(斯匹次卑尔根岛的年均气温趋势):

变点检测的分类:

  • 按照是否回顾整个历史数据集,分为离线检测和在线/实时检测
  • 按照预测目标可以分为变点识别(分类)、变化度预测、变点时间预测
  • 按照训练过程是否使用数据集标签,分为有监督方法和无监督方法

常见变点检测算法

变点检测的有监督方法:

  • 常见分类器:决策树、朴素贝叶斯、贝叶斯网络、SVM、KNN、HMM、CRF 等
  • 虚拟分类器:定义第一个窗口内的所有连

Read more

大模型开发技巧

低显存GPU环境调试大模型

方案:将 config.json 文件中 num_hidden_layers 的值修改为较小的值(比如 1)

原理:隐藏层中 block 的输入输出维度是一致的,因此去除重复的 block 并不会影响模型的处理逻辑;但需要注意该方法会影响模型的性能,因此只适合模型调试阶段使用。

低显存 GPU 环境推理大模型

分层推理法:将模型根据层来进行拆分存储,推理时分批次将要处理的层导入显存

代码示例:

from accelerate import init_empty_weights
from accele

Read more

BM25 搜索排序算法

BM25(Best Matching 25),一种经典的信息检索方法

  • BM25 综合考虑了 TF-IDF 和文档长度等信息,计算效率高,实用性强
  • BM25 在信息检索领域使用广泛,是 Elasticsearch 的默认检索方法
  • BM25 的语义理解能力不足,无法有效捕捉词序信息和上下文关系
  • BM25 可以通过调整参数来适用不同的应用场景,但个性化能力有限

TF-IDF

词频 TF(Term Frequency),词语 $t$ 在文档 $d$ 中出现的频率

$$ \text{TF}(t, d) = \frac{\text{词t在文档d中的

Read more

共形预测 Conformal Prediction

共形预测(conformal prediction,CP)是一种置信度预测器

  • 给定置信度水平,共形预测能为预测器模型生成具有统计有效性的预测区间
  • 共形预测可以逐类分析,独立保证每个类的错误率,适用于数据偏斜的情况
  • 广泛应用于假设检验,能为机器学习系统的预测提供有保证的不确定性量化
  • 共形预测易于理解和应用,通用性强,适用于不同领域不同类型的预测模型
  • 共形预测的算法相对新颖,相关的开源实现较少,更多的研究停留在学术界

由于翻译用词缺少官方定义,共形预测也称共形推理或保形预测

算法原理

共形预测的一般过程:

  1. 根据输入 $x

Read more

脓毒症 Sepsis

1 Sepsis 基本概念

Sepsis:脓毒症,由感染引起的全身炎症反应综合征

全身炎症反应综合症 (systemic inflammatory response syndrome,SIRS)

  • 定义为至少满足以下 4 项参数中的两个特征的综合征
  • (1)体温 >38° C 或 <36° C(发热 >100.4°F 或体温过低 <96.8°F

Read more

急性呼吸窘迫综合征 ARDS

基本概念

急性呼吸窘迫综合征(acute respiratory distress syndrome,ARDS)是一种多种病因引起的急性、弥漫性炎症性肺损伤,是全身炎症反应在肺部的表现,组织病理学常表现为弥漫性肺泡损伤(diffused alveolar damage,DAD)

ARDS 的基本特性 - 参考源

  • 发生率和致死率:在 ICU 中的发病率约5-10%,病死率高达40-50%
  • 病因:超过半数的 ARDS 患者是由于严重的感染(sepsis)或肺炎引起的
  • 症状:患者最初出现呼吸短促,听诊器在肺部听到爆裂音或喘息音
  • 治疗:收入

Read more

模型量化 Quantization

前置知识:模型参数的数据类型大模型的显存占用

Read more

人体微量元素

碘的作用也非常重要,特别是对于要减肥的人来说,一般来说,经常吃海鲜的人,不会缺碘,比如说海边的人。对于内陆山区的人来说,可能需要补充一些碘。

碘的主要作用,维持甲状腺健康,新陈代谢,免疫系统,认知能力,防止脱发等等。

缺镁的人也比较多,据美国的数据发现,大概一半的人,镁摄入量都不足。

镁的功能也非常多,和精力、肌肉(抽筋)、神经系统、运动表现、心理压力、睡眠质量等等都有关系。

一种很重要的矿物质元素,抗氧化效果也不错,降低 DNA 损害,改善免疫系统,有一定的抗癌功效,还有一个很重要的功效,维护甲状腺健康,还可以减少哮喘。

硒作

Read more

维生素基础

维生素科普

人体一共需要 13 种维生素:维生素 A,维生素 B,维生素 C,维生素 D,维生素 E,维生素 K,维生素 H,维生素 P,维生素 PP,维生素 M,维生素 T,维生素 U,水溶性维生素

维生素服用规则

  • 避光保存:B 族维生素尤其是维生素 B2,见光极易分解,从而导致失效
  • 避碱服用:B 族维生素在碱性溶液中

Read more