个人笔记 | Digital Garden

定义函数$f(x)$，其在点$x$处沿着方向$d$的变化率可用方向导数表示，即梯度与方向的乘积： $$Df(x;d)=\nabla f(x)^Td$$ 当$d=-\frac{\nabla f(x) }{ ||\nabla f(x)|| }$时，函数$f$在点$x$处的下降速率最大，即负梯度方向为最速下降方向

最速下降算法：在迭代过程，每次都选择负梯度方向搜索（对于寻找最小值的最优化问题）

最速下降算法步骤：

初始化$x_1$，设定允许的最小误差$\epsilon$，迭代次数$k=1$
对于第$k$次迭

共轭梯度法

发表评论

1139 views

1 共轭方向法
2 共轭梯度法
3 非线性共轭梯度

共轭梯度法（Conjugate Gradient）是介于最速下降法与牛顿法之间的一个方法

仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，
避免了牛顿法需要存储和计算Hessian矩阵（占用空间大）并求逆的缺点
求解大型线性方程组或非线性最优化问题时常用且高效的方法

1 共轭方向法

设$G$为对称正定矩阵，若$d^T_mGd_n=0,\ m\neq n$ ，则称$d_m$和$d_n$为“G共轭”，共轭方向是“互不相关”的方向

共轭是正交的推广，$n$个共轭向量可以作为$n$维空间的非正交基，共轭向量间是线性无关的

共轭方向法

林纳斯·托瓦兹

发表评论

994 views

1 基本信息
2 个人经历
3 主要成就
4 个人点评
5 参考文献

1 基本信息

林纳斯·贝内迪克特·托瓦兹（Linus Benedict Torvalds），生于芬兰赫尔辛基市，拥有美国国籍，Linux内核的最早作者，随后发起了这个开源项目，担任Linux内核的首要架构师与项目协调者，是当今世界最著名的电脑程序员、黑客之一。他还发起了开源项目Git，并为主要的开发者。

2 个人经历

1969年12月28日托瓦兹出生于芬兰赫尔辛基

1988年至1996年托瓦兹就读于赫尔辛基大学，并获得计算机硕士学位

1991年托瓦兹开始接触GNU项目，并于1991年底公开发布第一个 Linux 原

理查德·马修·斯托曼

发表评论

864 views

1 基本信息
2 个人经历
3 主要成就
4 个人点评
5 参考文献

1 基本信息

理查德·马修·斯托曼（Richard Matthew Stallman, RMS），于1953年出生，自由软件运动的精神领袖、GNU计划以及自由软件基金会（Free Software Foundation）的创立者、著名黑客。

2 个人经历

1953年3月，斯托曼出生于美国纽约一个犹太人家庭

早年他就对计算机有很深的兴趣；1970年秋季考入哈佛大学物理系

1971年，成为麻省理工学院人工智能实验室助理程序员，同时也成为黑客社区的常客

斯托曼在1983年9月推出了GNU项目。借此又发起了自由软件运动

自