分类目录归档：基础统计算法
核密度估计（kernel density estimation，简称KDE）是核平滑对概率密度估计的应用，即一种以核为权重估计随机变量概率密度函数的非参数方法。由Rosenblatt (1955)和Emanuel Parzen(1962)提出，又名Parzen窗（Parzen window）
核密度估计的实现：
给定均值向量和协方差矩阵，可以唯一确定一个高斯分布（Gaussian distribution）
给定均值函数和协方差函数，可以唯一确定一个高斯过程（Gaussian Process，GP）
假设自变量为时间$t$，则每一个时刻$t$，高斯过程都对应着一个高斯分布
当时间$t$是连续型变量时，整个高斯过程便对应着无数个高斯分布，所以高斯过程可看作无限维高斯分布
高斯分布的两
中介效应（mediation effect）分析能解释自变量 X 对因变量 Y 的影响是如何通过中介变量(mediator) M实现的，是多变量研究的重要统计方法。
中介效应 VS 间接效应(indirect effect)
中介效应 VS “遮掩效应” (suppression effects)
面对$N$个形式为$(x_i,y_i)$样本组成的样本集，线性回归就是为了寻找形式为$y_{N\times1}=X_{N \times d}\theta_{d\times 1}$的线性方程，使其能最大程度拟合样本，而第一步便是建立线性回归的损失函数/目标函数： $$Loss(\theta)= (y-X\theta)^T(y-X\theta) $$
其中$y$表示真实值，$X\theta$表示的预测值，所以损失函数$Loss(\theta)$表示的便是真实
朴素贝叶斯（Naive Bayes classifier）以贝叶斯定理为基础的简单分类器
贝叶斯定理： $$P(B|A)=\frac{P(A|B)P(B)}{P(A)}$$
朴素贝叶斯主要通过统计历史数据中各种事件的发生频率，并从中寻找统计上的相关性，以实现对事件的预测。
假设事件$A$表示头疼，事件$B$表示感冒，可通过以下案例理解朴素贝叶斯的计算过程：