推 magier:^_^ 122.116.84.40 11/10 01:19
※ 編輯: lovewa 來自: 140.113.144.28 (11/10 09:57)
→ lovewa:樓上的，好久不見...XD 140.113.144.28 11/10 09:57
推 hotfamily:這位大大講得好詳細啊!! 受教了 140.114.15.164 09/24 14:51
※ 引述《Ohwil ( )》之銘言：
: ※ [本文轉錄自 Math 看板]
: 作者: Ohwil ( ) 看板: Math
: 標題: [分析] information
: 時間: Sun Nov 9 00:37:47 2008
: 假設 P(x)= 1/2 x=0
: 1/4 x=1
: 1/16 x=2,3,4,5
: 0 other
: 求 entropy時
: H(X)=E[-log(P(x))]
: =1/2*1 + 1/4*2 +( 1/16*4 )*4
: =2 (bits)
: 這個2bits是說描述X的分佈要用到的個數?!
: 有沒有更精確的講解可以說明一下的...
上篇的推文有問題吧....
基本上entropy是一個描述一個R.V.的不確定性之多寡
單位就看你log是取什麼樣的數字當底，一般常用是e或2....
公式原來的推演大概是這樣，我就隨便舉個例...
有個袋子裡有五個，3白2黑～
有一個R.V.，x=0表示選到黑球 機率2/5，x=1表示選到白球 機率3/5
2/5表示的意思是說，平均選5次球會出現2次黑球
那如果以2次的選取，表示為一種事件發生的可能
則5次選取則表示可能有5/2種發生的可能
若要描述這5/2種事情發生的可能
以Bits來表示的話，就需要log2(5/2)個Bits.....
同理可推得白球的部份～log2(5/3)...
然而，以3次的選取或2次的選取為一種事件發生的可能，都會有其出現的機率
這個機率就是選到白球或黑球的機率，所以平均上來說...
若要描述這個R.V.的不確定性，最終是需要2/5*log2(5/2)+3/5*log2(5/3) Bits
所以Entopy的公式才會變成E_x[log2(1/p(x)] = E_x[-log2(p(x))]
--
現代人普遍的現象：
「小學而大遺」、「捨本而逐末」、「以偏而概全」、「因噎而廢食」
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.113.144.28