entropy是指亂度的意思 也可說是"不確定性"
1
H_i=P_i*log-----
P_i
我們先想一下力較極端的例子 當機率P=1(如明天太陽當然會升起)
則P*log1/P=0 無不確定性可言
又P=0時 亦無"不確定性"可言 (P*log1/p=0)
當p=1/2時 entropy是最大的 (例如擲一fair coin)
H(x)是Shannon定義的 我記得數學傳播有講到
要滿足Shannon定義資訊理論方面的一些特性 最後一定要用到上述公式
你可以去找看看!!