分类目录归档:学习

MATLAB基础

1 MATLAB界面

主界面: 附件/Pasted image 20210818004547.png

命令行 Command Window

命令历史 Command History clc: 清除命令窗口的内容

工作

Read more

MATLAB常用函数

1 固有函数

附件/Pasted image 20210818010102.png

2 基本运算函数

附件/Pasted image 20210818005252.png

3 三角函数

附件/Pasted image 20210818005319.png

4 向量运算函数

附件/Pasted image 20210818005928.png

5 format style

style - 输出显示格式
short (默认) | long | shortE | longE | ...

附件/Pasted image 20210818142553.png

6 cylinder函数

[X,Y,Z] = cylinder 返回圆柱的 x、y 和 z 坐标而不对其绘图。返回的圆柱的半径等于 1,圆周上有 20 个等距点,底部平行于 xy 平面。

该函数以三个

Read more

数据分析评价指标

1 金融领域常见指标

1.1 WoE(Weight of Evidence)

#WoE #风险评估 #评分卡

一般情况下,我们将正常客户标记为0,违约客户标记为1。

Read more

时间序列分析

单位根

单位根又叫(unit root)。

当一个自回归过程中:$$y_{t} = by_{t-1} + a + \epsilon _{t}$$ 如果滞后项系数b为1,就称为单位根。当单位根存在时,自变量和因变量之间的关系具有欺骗性,因为残差序列的任何误差都不会随着样本量(即时期数)增大而衰减,也就是说模型中的残差的影响是永久的。这种回归又称作伪回归。如果单位根存在,这个过程就是一个随机漫步(random walk)。

补充:解释变量(即滞后被解释变量)的系数应该有三种情况:

  1. 小于1:不存

Read more

数据处理技巧

1 正则化

通过对损失函数引入正则项,避免模型的过拟合的情况。

正则化的分析:随着$\delta$取值的增大,系数$\theta$趋近于0

#正则化

2 核技巧

将原始样本通过函数进行高维映射,并作为特征进行模型输入,提高模型对于信息的提取能力

比如最常见的高斯核/RBF核(RBF:Radial basis function/径向基函数)

$$k(x,\mu_i,\lambda)=exp{(-\frac{1}{\lambda}||x-\mu_i||^2)}$$

转换过程: $$\phi(x)=[k(x,\mu_1,\

Read more

回归算法族

1 线性回归

面对$N$个形式为$(x_i,y_i)$样本组成的样本集,线性回归就是为了寻找形式为$y_{N\times1}=X_{N \times d}\theta_{d\times 1}$的线性方程,使其能最大程度拟合样本,而第一步便是建立线性回归的损失函数/目标函数: $$Loss(\theta)= (y-X\theta)^T(y-X\theta) $$

其中$y$表示真实值,$X\theta$表示的预测值,所以损失函数$Loss(\theta)$表示的便是真实

Read more

最小二乘法

1 最小二乘法

狭义上的最小二乘法,主要针对线性回归问题,以残差平方和的总和最小为原则,化一般情况下,运用矩阵运算寻找最优的系数解,具体实现可参考1 线性回归的求解过程。

广义上的最小二乘法,增加了针对非线性问题的处理,围绕均方误差构建损失函数,使用迭代优化策略(比如梯度下降法)解决最小化优化问题

狭义最小二乘法的算法分析:

  • 求解方便,不需要迭代优化,可以直接通过矩阵运算求出解析解
  • 仅能处理线性回归问题,当特征维度高时矩阵求逆的运算成本偏高

Read more

梯度下降法族

1 梯度下降法-简单版

大部分机器学习模型的构建都是寻找最小损失函数的过程,而梯度下降法(Gradient Descent)便是一种常见迭代优化算法,用于寻找损失最小的参数解。

以简单二次函数为例进行算法的简单说明,模型形式

Read more

坐标轴下降法

坐标下降法(英语:coordinate descent)是一种非梯度优化算法。算法在每次迭代中,在当前点处沿一个坐标方向进行一维搜索以求得一个函数的局部极小值。在整个过程中循环使用不同的坐标方向。对于不可拆分的函数而言,算法可能无法在较小的迭代步数中求得最优解。

附件/Pasted image 20210819215357.png

为了加速收敛,可以采用一个适当的坐标系,例如通过主成分分析获得一个坐标间尽可能不相互关联的新坐标系,即自适应坐标下降法。

#坐标下降法 #非梯度 #CoordinateDescent

Read more