随机矩阵理论

随机矩阵:元素为随机变量的矩阵,属于概率论与矩阵分析的交叉领域

系综:对符合某种分布的随机变量进行多次取值,得到的矩阵集合

具有统计独立性的实或复矩阵系综,在基变换下分布具有不变性,如果变换是正交的(orthogonal)、酉的(unitary)或辛的(symplectic),则分别得到高斯正交系综(Gaussian Orthogonal Ensemble,GOE),高斯酉系综(Gaussian Unitary Ensemble,GUE)或高斯辛系综(Gaussian Symplectic Ensemble,GSE)

此处可先简单理解为,酉变换是实数域的正交变换在复数域上的拓展。对应关系

Read more

瑞利熵问题

1 瑞利熵函数

瑞利熵(Rayleigh quotient)函数定义如下: $$R(A,x)=\frac{x^HAx}{x^Hx}$$

  • 其中$A$为$n\times n$的$Hermitian$矩阵;$x$为非零向量;$H$表示共轭转置
  • $Hermitian$矩阵,即厄尔米特矩阵(共轭转置矩阵和自己相等的矩阵)
  • 由于现实机器学习中很少遇见复数的情况,因此$A$可考虑为实对称矩阵

瑞利熵$R(A,x)$的重要性质: $$\lambda_{min}\leq R(A,x)\leq \lambda_{max}$$

  • 其中$\la

Read more

血气分析

1 血气分析基础

血气是指血液中所含的$O_2$和$CO_2$气体

  • $O_2$的大部分与血红蛋白($Hb$)结合成氧合血红蛋白($HbO_2$)的形式存在,并进行运送,少部分以物理溶解形式存在,均随血流送往全身各组织器官。
  • 血液中CO$2$的存在形式有三种,即:①物理溶解;②与水结合并解离为$HCO_3^-$和$H^+$($CO_2+H_2O→H_2CO

Read more

拉普拉斯特征映射 LE

拉普拉斯特征映射(Laplacian Eigenmaps,简称LE)是一种基于图的降维算法

前置知识:图论基础概念拉普拉斯矩阵谱聚类

LE算法核心思想:在低维空间内,尽可能保证局部样本间的结构不变

LE算法步骤:

  • 构建近邻图,方法可参考谱聚类一文中的数据转图
  • 根据已构建的图计算邻接矩阵$W$、度矩阵$D$和拉普拉斯矩阵$L$
  • 求解拉普拉斯矩阵,得到最小的$k$个特征值对应特征向量
  • 特征向量组成矩阵$H$,每一行都对应每个样本的降维后的稠密表示

LE算法分析:

  • 谱聚类相当于先经过LE(拉普拉斯特征映射)算法降维后的K-means聚类算法,因此谱聚类的核心推导过程就是LE算法。所以L

Read more

谱聚类

1 算法概况

谱聚类(spectral clustering):一种基于图的聚类算法

前置知识:图论基础概念图论基础#3.1 理解拉普拉斯矩阵

核心思想:将数据转化为图的形式,距离近的数据间对应的边权重高,距离远的数据间对应的边权重低。之后通过切图的方式,使得不同子图间的边权值和尽可能低,子图内部的边权值和尽可能高,从而达到聚类的目的

2 算法细节

2.1 数据转图

核心思想:把每个样本看作一个节点,然后构建任意两点$(x_i,x_j)$间权重边$w_{ij}$

方法1

Read more

正则表达式

1 概念理解

正则表达式(Regular Expression,简写为regex、或RE)是一种描述句法规则的字符串,常用来匹配符合某个模式(pattern)的文本,以实现针对特定文本的检索(search,findall)、替换(replace)等目的。

常见应用:文本/文件查找、数据/网页清洗、非格式化数据转格式化

在线测试:https://www.mklab.cn/utils/regex

2 正则入门

正则表达式30分钟入门教程

3 常

Read more

图论基础

图论起源:柯尼斯堡七桥问题

1 基础概念

图 (graph) 常用$G=(V,E)$表示,其中$V$表示顶点/节点的集合,$E$表示边的集合

相邻的 (adjacent)/关联的 (incident)

  • 边两端的顶点和边的关系是关联的或相邻的
  • 通过边相连接的两个顶点之间的关系是相邻的

顶点的度 (degree):与该顶点关联的边的条数。

  • 对于有向图

Read more

GCN_基于图卷积网络的半监督学习

中文标题:GCN_基于图卷积网络的半监督学习

英文标题:Semi-Supervised Classifi

Read more

论文评测数据_LLMs篇

AlpacaEval:主流大语言模型评测

AlpacaEval是一种由斯坦福大小推出的LLM自动评估工具

  • 其特点是快速、廉价且可靠
  • AlpacaEval 与真实人类注释的一致性很高

  • 2023-09-20 Xwin-LM在 AlpacaEval 上基准测试

Read more

论文期刊汇总

Read more