1 信息
信息是不确定性的减少或消除——香农
对于随机变量$X$来说，其取值可能为${x_0,x_1,...,x_n}$
假设变量$X$对应的概率分布为$p$，则$X=x_0$的信息量为 $$I(x_0)=-log(p(x_0))$$
2 熵
熵(entropy)度量了事物的不确定性
不确定越高的事物，它的熵就越大。
随机变量X的熵可以表示如下：
$$H(X)=-\Sigma_{i=1}^np_ilog(p_i)$$
- 其中$n$表示$X$的所有
发表评论
1086 views