13.拉格朗日乘数法

1 最值问题

最值问题指寻找最佳的变量组合(变量间不独立),使得多元函数最大/最小

例题:求函数$xy=3$距原点最近的点

分析:

函数/问题:最小化函数$f(x,y)=x^2+y^2$ 关系/限制:$g(x,y)=xy=3$ 基本思路:当$f(x,y)$的等值线/面与$g(x,y)$相切,存在条件下的最优解

2 拉格朗日乘数法

沿用上一小节的思路,并继续进行演变。$f(x,y)$的等值线/面与$g(x,y)$相切意味着两函数的法向量是平行的$\nabla_f //\nabla_g$,即$\nabla_f = \lambda \nabla

Read more

12.梯度,切平面,方向导数

1 梯度

回归上一节,对于函数$w(x,y,z)$,当$x=x(t),y=y(t),z=z(t)$时,求导可得: $$\frac{dw}{dt}=w_x\frac{dx}{dt}+w_y\frac{dy}{dt}+w_z\frac{dz}{dt}=\nabla_w\cdot \frac{d\vec{r}}{dt}$$

这里其实是一种将多元微分从乘加形式向点积形式的简化转换

其中$\nabla_w$表示梯度向量,为各方向偏导组成的向量: $$\nabla_w=<w_x,w_y,w_z>$$ 其中$\frac{d\vec{

Read more

11.微分与链式法则

1 微分

微分近似地描述当函数自变量的微小改变时,函数值的变化情况

以最简单的函数$y=f(x)$为例,其对应的微分为:$dy=f'(x)dx$

以函数$f(x,y,z)$为例,其对应的全微分为: $$df=f_xdx+f_ydy+f_zdz$$

$df\neq \Delta f$,$\Delta f$是一个数值,而$df$更像是一种占位符,有时无法给出特定的值,通过对自变量进行赋值,$df$能计算得出切线/切平面的近似值

微分计算最常用的一种场景就是链式法则

2 链式法则

当$x=x(t),y=y(t),z=z(t)$时,$f(x,y,z)$将变

Read more

12.《动手学深度学习》计算性能

1 编译器和解释器

首先需要理解编译和解释的联系与区别

二者的联系:都是将高级语言翻译成机器语言执行的过程

过程上的区别:编译是将源程序翻译成可执行的目标代码,翻译与执行是分开的;而解释是对源程序的翻译与执行一次性完成,不生成可存储的目标代码。

结果上的区别:编译的话会把输入的源程序翻译生成为目标代码,并存下来(无论是存在内存中还是磁盘上),后续执行可以复用;解释的话则是把源程序中的指令逐条解释,不生成也不存下

Read more

Linux环境变量

1 理解环境变量

在所有 UNIX 、 类Unix系统和Windows系统中, 每个进程都有其特定的一组环境变量(Windows系统中的环境变量在命名、语法和用法上略有区别)

环境变量是进程运行的环境的一部分,子进程一般会继承其父进程的运行环境(除非手动的修改或删除),环境变量也是动态的,为进程提供了更多的灵活性

2 环境变量类型

临时性VS永久性

  • 通过export命令导入的环境变量是临时的,会立即生效但仅对当前终端有效
  • 通过修改配置文件导入的环境变量是永久的,但是需要通过命令sour

Read more

编程范式浅析

1 理解编程范式

编程范式(Programming paradigm),也称编程范型、程序设计法

范式是一种思考或处

Read more

10.二阶导检验:边界与无穷

1 临界点与最值

临界点共有三种可能类型:

  1. 局部极大值
  2. 局部极小值
  3. 鞍点

临界点的类别主要通过函数的二阶导实现判断

以$z=x^2$为例,此时$z$与$y$无关,临界点因此退化为线$x=0$

最值,即全局极大值或全局极小值,主要对比以下三种情况下的点:

  1. 局部极值
  2. 边界
  3. 无穷远

2 二阶导检验

设$A=f_{xx},B=f_{xy}=f_{yx},C=f_{yy}$,二阶导检验方式如下:

  1. $AC-B^2>0且A>0$,此时临界点为极小值
  2. $AC-B^2>0且A<0$,此时临界点为极大值
  3. $AC-B^2<

Read more

9.极值问题,最小二乘法

1 切平面逼近

偏导描述的是只考虑一个自变量变化时,因变量的变化情况。而当所有自变量都发生变化时($x\to x+\Delta x,y\to y+\Delta y$),因变量$z=f(x,y)$的变化符合以下公式: $$\Delta z \approx f_x\Delta x+f_y \Delta y$$

证明:

  • 对于点$(x_0,y_0)$,假设其对应的函数值为$z_0$
  • 先固定$y=y_0$,根据偏导的几何性质可得切线$L_1:z=z_0+f_x(x-x_0)$
  • 再固定$x=x_0$,根据偏导的几何性质可得切线$L_2

Read more

常见配置文件格式

1 INI ⭐⭐⭐

INI:Initialization file的格式,最初为Windows系统中的基础配置文件格式

INI格式作为早期常见的配置文件格式,通常由节(Section)、键(key)和值(value)组成

缺点:不适合复杂的格式或多嵌套的情况

[localdb]  
host = 127.0.0.1  
user = root  
password = 123456  
port = 3306  
database = mysql

Python内置con

Read more

8.等值面,偏导与切平面

1 多元函数的绘图

随着自变量的增多,单变量函数开始向多元函数演变。而由于收到维度的限制,函数的可视化一般局限于二元函数图像与三元函数的等值面图像。其中等值面通过固定多元函数的因变量为常数而得到,以函数$z=x^2+y^2$为例,其绘图过程如下:

  1. 绘制坐标轴,一般采用右手坐标系
  2. 特殊情况的全列举,比如选定$x=0$,绘制函数在$yz$平面上的图像;选定$y=0$,绘制函数在$xz$平面上的图像;选定$z=0$,绘制函数在$xy$平面上的图像
  3. 选定$z=a$,其中$a$为任意常数,绘制多个等值面图像

密集的等值面图像可以直接构建多元函

Read more