1 线性回归
面对$N$个形式为$(x_i,y_i)$样本组成的样本集，线性回归就是为了寻找形式为$y_{N\times1}=X_{N \times d}\theta_{d\times 1}$的线性方程，使其能最大程度拟合样本，而第一步便是建立线性回归的损失函数/目标函数： $$Loss(\theta)= (y-X\theta)^T(y-X\theta) $$
其中$y$表示真实值，$X\theta$表示的预测值，所以损失函数$Loss(\theta)$表示的便是真实值与预测值之间的差异程度，这样最大拟合样本的目标也将自然而然地转化为追求最小损失函数的过程。
在矩阵$X$可逆的条件下，由线性代数方法求解可得： $$\hat{\theta}= (X^TX)^{-1}X^Ty $$
为了保证矩阵$X$可逆这一条件得到充分满足，可以对公式进行调整
$$\hat{\theta}= (X^TX+\delta^2I_d)^{-1}X^Ty $$
而此时原始公式也变为： $$Loss(\theta)= (y-X\theta)^T(y-X\theta)+\delta^2\theta^T\theta $$
而这便引入了正则项，此时线性回归也演变成了岭回归，有趣的是原本只是为了方便矩阵计算所做的调整，最终的模型效果往往更优秀，而这就是正则化的威力。
2 Lasso回归
通过1-范数进行正则化的线性回归，能起到筛选特征的作用。
其损失函数为 $$Loss(\theta)= (y-X\theta)^T(y-X\theta)+\delta^2 \sum_{k=1}^n|\theta_i| $$
Lasso回归因为其约束条件（也叫损失函数）不是连续可导的，因此常规的解法如梯度下降法、牛顿法不再适用。因为主要有以下两种常用的方法：
#Lasso #角回归 #L1正则化 #坐标轴下降法 #最小角回归法
3 ridge回归
也叫岭回归。通过2-范数进行正则化的线性回归。
其损失函数为 $$Loss(\theta)= (y-X\theta)^T(y-X\theta)+\delta^2\theta^T\theta $$
4 非线性回归
将样本$X$转为$X^2$，甚至$X^3$进行拟合，实现线性模型的非线性拟合
将转换后的$X^2$或$X^3$视作新的自变量$Z$，即可转化为$y$和$Z$的线性回归
5 逻辑回归
Sigmoid函数，也叫Logistic函数，其函数形式如下： $$y = \frac{1}{1+e^{-z}}$$
逻辑回归也是非线性回归的一种，假设线性回归的预测值为$z$，则$sigmoid(z)$就是逻辑回归的预测输出，由于输出值域在$[0,1]$之间，因为常作为概率值处理分类问题。
逻辑回归的损失函数多为处理分类问题的损失函数，比如交叉熵
6 自回归
自回归模型是线性回归模型的一个变种，针对时序${x_1,x_2,...,x_n}$，自回归模型可以使用$t$时刻之前的时序作为输入特征，预测$x$在$t$时刻的值