分类标签归档:条件熵

信息论基础

1 信息

信息是不确定性的减少或消除——香农

对于随机变量$X$来说,其取值可能为${x_0,x_1,...,x_n}$

假设变量$X$对应的概率分布为$p$,则$X=x_0$的信息量为 $$I(x_0)=-log(p(x_0))$$

2 熵

熵(entropy)度量了事物的不确定性

不确定越高的事物,它的熵就越大。

随机变量X的熵可以表示如下:

$$H(X)=-\Sigma_{i=1}^np_ilog(p_i)$$

  • 其中$n$表示$X$的所有

Read more