[分析] information

[Ohwil ( )]

※ [本文轉錄自 Math 看板]

作者: Ohwil (  ) 看板: Math
標題: [分析] information
時間: Sun Nov  9 00:37:47 2008

假設  P(x)= 1/2   x=0
            1/4   x=1
            1/16  x=2,3,4,5
            0     other

求  entropy時

   H(X)=E[-log(P(x))]
       =1/2*1 + 1/4*2 +( 1/16*4 )*4
       =2 (bits)

這個2bits是說描述X的分佈要用到的個數?!

有沒有更精確的講解可以說明一下的...


--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 59.115.225.181

--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 59.115.225.181
→ arksbubble:我想，Entropy代表意思維，針對隨機變
→ arksbubble:數X，平均的資訊價值量
→ arksbubble:這個值越大越好，以你的case，有2bit
→ arksbubble:資訊量。 有錯請指正