作者文章归档:王半仙

高级机器学习-目录总览

EREBUS--The Story of a Ship

幽冥号-一艘船的故事

前言

致Albert和Rose

  • 诚然,对于一个曾怀着敬畏和热爱去“追随大海”的人来说,没有什么比泰晤士河的下游更容易唤起曾经的雄心壮志。潮水不停地来回奔流,满载着关于人类和船只的回忆,承担着背井离乡的思苦,也见证了海上的无情厮杀……从满载财宝并凯旋归来的金鹿号……到壮志未酬却一去不返的厄瑞玻斯号和恐怖号。

目录

  • 引言:胡克的袜子(HOOKER’S STOCKINGS)
  • 前序:幸存者(THE

Read more

Erebus-目录总览

EREBUS--The Story of a Ship

幽冥号-一艘船的故事

前言

致Albert和Rose

  • 诚然,对于一个曾怀着敬畏和热爱去“追随大海”的人来说,没有什么比泰晤士河的下游更容易唤起曾经的雄心壮志。潮水不停地来回奔流,满载着关于人类和船只的回忆,承担着背井离乡的思苦,也见证了海上的无情厮杀……从满载财宝并凯旋归来的金鹿号……到壮志未酬却一去不返的厄瑞玻斯号和恐怖号。

目录

  • 引言:胡克的袜子(HOOKER’S STOCKINGS)
  • 前序:幸存者(THE

Read more

强类型与弱类型

1 定义

强类型语言是一种强制类型定义的语言,即一旦某一个变量被定义类型,如果不经强制转换,那么它永远就死该数据类型。而弱类型语言是一种弱类型定义的语言,某一个变量被定义类型,该变量可以根据环境变化自动进行转换,不需要经过现行强制转换。

2 语言分类

强类型语言包括:Java、.net、Python、C++等语言。其中Python是动态语言,是强类型定义语言,是类型安全的语言,Java是静态语言,是强类型定义语言,也是;类型安全的语言;

弱类型语言包括:VB,PHP,JavaScript等语言。其中VBScript是动态语言,是一种类型不安全的原

Read more

线性代数基础

前置知识:(笔记待上传)

线性变换与矩阵

$$ y=Ax+b\quad\mathrm{where} \ A\in\mathbb{R}^{m\times n},x\in\mathbb{R}^n,y\in\mathbb{R}^m,b\in\mathbb{R}^m $$

  • 该方程表示通过矩阵 $A$ 和偏差 $b$ 将输入 $x$ 线性映射到输出 $y$

Python 实现:

import numpy as np

A = np.array([[2, 1], [1, 

Read more

损失函数

损失函数的理解与区分

如何理解并区分误差(error)/损失(loss)/成本(cost)/目标(objective)函数?

  • 误差函数描述的是预测值与真实值的偏差:$y_{pred}-y_{true}$
  • 损失函数是对预测误差的负面影响的量化,比如平方误差损失认为3个单位的误差会导致9个单位的负面影响;损失函数通常是针对单个样本的描述
  • 损失函数是成本函数的一部分,成本函数通常是针对训练集的描述,既包含所有样本的损失,也包含针对模型复杂度的惩罚(正则项)
  • 成本

Read more

特征工程

特征工程常用

常用特征处理:

  • 常见时间日期类特征:年/月/时、第几周/周次、是否周末、节假日、时差等
  • 日期类聚合特征:客户最活跃的月份、某类产品上周累计销售、特定客户的周末消费额等
  • 常用统计类特征:最值、均值、唯一值、偏度、峰度、KStat、分位数等

更多时序类衍生特征可参考1_study/Python/Python 数据处理/tsfresh 时序特征聚合工具

其他特征处理技巧:

  • 多项式特征(preprocessing.PolynomialFeatures
  • 分箱(数值型变量 转 类别型变量,pandas.cut
  • 对数化(修正存

Read more

基础神经元

一个典型的神经元

附件/Pasted image 20210902165153.png

  • Axon 轴突
  • Dendritic tress 树突
  • Axon hillock 轴突体

线性神经元

$$y = b+\sum_ix_iw_i$$ 附件/Pasted image 20210903141612.png

二进制阈值神经元

对线性加权运算的结果,进行阈值判定

$$z = b+\sum_ix_iw_i$$ $$\begin{equation} y = \left\{ \begin{array}{rl} 1 & \mbox{if } z \geq 0, \\ 0 &

Read more

词嵌入表示 Embeddings

词嵌入表示方法:应用 NLP 技术,将单词/Token 转化为向量的数值表示形式

随着 LLMs 的进步和发展,该技术也逐渐应用到图像、音频等非文本领域

传统嵌入表示

One-hot(独热)编码

One-hot(独热)编码过程:

  • 用 $N$ 维仅包含 0、1 值的向量去唯一地表示 $N$ 种词
  • 每个词编码后的向量包含 $N-1$ 个 0 和 1 个1

算法分析:

  • One-hot 编码简单

Read more

集成算法

前置知识:树算法族

1 集成学习概述

核心思想:三个臭皮匠顶个诸葛亮

集成学习三步走

  1. 特征抽取
  2. 反复建模(弱学习器)
  3. 模型集成(强学习器)

1.1 模型集成的策略

1.1.1 平均法

最终的预测输出 = 若干个弱学习器的预测输出的平均

1.1.2 投票法

最终的预测输出 = 若干个弱学习器的预测输出的投票结果

  • 常见的几种投票法
  • 相对多数投票

Read more

树算法族

1 决策树

决策树通过树结构存储判断流程和规则,实现复杂规则的有效记录

一般来说,树的非叶节点存储了判断逻辑,并通过树分支表达多个判断结果 通过自上而下的多层逻辑判断,最终在叶节点输出预测的分类结果

决策树示例:

1.1 决策树ID3算法

ID3算法主要利用信息增益进行特征的选择,并通过递归方法构建特征

  • 从根节点开始,计算所有特征的信息增益
  • 选择信息增益最大的特征作为此节点的判断逻辑,并构建子节点
  • 对子节点递归地调用以上方法,直到最大信息增益过低或没有特征停止递归

Read more