个人笔记

在统计学中，最小角回归(LARS)是一种将线性回归模型拟合到高维数据的算法

用 $T(\hat{\mathit{\beta }})$ 表示 $\hat{\mathit{\beta }}$ 的绝对值范数 $$\begin{array}{}\text{(7)}& T(\hat{\mathit{\beta }})=\sum _{j=1}^m|\widehat{{\beta }_j}|\end{array}$$ 则Lasso即为下面的约束优化问题： $$\begin{array}{}\text{(8)}& minS(\hat{\mathit{\beta }})\text{s.t.}T(\hat{\mathit{\beta }})\le t\end{array}$$ Lasso也可以作为一种收缩方法用来防止过拟合，即Lasso岭回归，等价于下面的优化问题： $$\begin{array}{}\text{(9)}& minS(\hat{\mathit{\beta }})+\lambda T(\hat{\mathit{\beta }})\end{array}$$ 只不过在岭回归中，使用的是$L_2$范数。这里的$\lambda$与$t$具有一一对应关系。

LARS也是不断迭代运行。不过LARS只需要 $m$ 步迭代就可以完成，$m$ 是变量的个数。

LARS算法的过程大致如下：

1. 首先，像传统的前向选择一样，将所有系数 $\widehat{{\beta }_j}$ 置为0，然后选择一个与响应值相关度最大的变量，比方说$x_{j1}$。
2. 然后，在这个方向上前进尽可能大的一步（增大/小系数$\widehat{{\beta }_{j1}}$），直到另一个变量，比如$x_{j2}$，与目前的残差有同样大的相关度。
3. 这时候，LARS算法和前向选择分道扬镳。不向前向选择中那样继续沿 $x_{j1}$ 方向前进，算法选择 $x_{j1}$ 与 $x_{j2}$ 的角平分线方向前进（即同时等量增大/小$\widehat{{\beta }_{j1}}$和$\widehat{{\beta }_{j2}}$）
4. 直到第三个变量 $x_{j3}$ 达到相关度的要求，进入到这个”最相关”的集合中，然后再沿这三个变量的角平分线方向前进（同时等量增大/小$\widehat{{\beta }_{j1}}$、$\widehat{{\beta }_{j2}}$ 和 $\widehat{{\beta }_{j2}}$），依次类推。

LARS算法优点：开销小

#最小角回归法 #LARS