信息论和熵

随机变量的熵

熵常以数学符号H表示, 如果H(P)代表随机变量P的熵。

从概率论的角度上来说,熵描述了随机变量取值的不确定性。随机变量的熵的大小与其概率密度分布的均匀程度成正比,即均匀分布的随即变量每种取值几率相差不大,所以该分布描述的随即变量不确定性大,没有太多有效的信息。

对于随机变量X, 熵的定义为H=-SUM(Pi*log2(Pi))

 

交叉熵损失函数

交叉熵(Cross Entropy)描述了两个随机变量概率分布之间的差异