[分析] entropy的最大值

[znmkhxrw (QQ)]

想請問一下證下面這個敘述的方法，是要用lagrange multiplier硬爆

還是有基本的算幾or柯西or其他inequality的方法可以提供，謝謝！

Let x_i€[0,1] ,i = 1~n with x_1+...+x_n = 1

and f(x_1,...,x_n) := -[ x_1*ln(x_1) + x_2*ln(x_2) +...+ x_n*ln(x_n)]

Then f(x_1,...,x_n) <= ln(n)

and equality holds <=> x_i = 1/n


謝謝！

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 113.196.128.238
※ 文章網址: https://www.ptt.cc/bbs/Math/M.1528192349.A.1CD.html
推 Vulpix      : convexity
是指ts大的jensen ineuqality嗎??

推 LPH66       : 這看起來是資訊熵?
對

推 tsoahans    : Jensen's inequality
我試了jensen方向好像很怪....

令f(x) = -ln(x) , convex function

且 x_i>=0, x_1+...+x_n = 0

藉由jensen's inequality可以得知

f(x_1*x_1 + x_2*x_2 +....+x_n*x_n) <= x_1*f(x_1) +... +x_n*f(x_n)

所以是 -ln(x_1^2+...x_n^2) <= x_1*(-ln(x_1)) + ... + x_n*(-ln(x_n))

但是我要的是right hand side <= ln(n)

好奇怪@@?

推 arthurduh1  : 需要稍微變通一下, 注意那個負號
推 Vulpix      : 考慮g(x)=-xlnx怎麼樣？weight都用1/n。
V大我改用這個g配那個weights也成功了，謝謝！

推 LiamIssac   : 可用Lagrangian 或是 更進階的conjugate duality去
→ LiamIssac   : 證明
推 LiamIssac   : 另外 盡量利用向量表示 會簡單很多
L大我去查conjugate duality
應該是這個吧 Fenchel's duality theorem
雖然沒學過 但是這是不是你叫我用向量表示的原因XD?

原本自己在試的時候就用向量表示過(想湊柯西)
但是湊不出來就不用了QQ

→ tsoahans    : log是concave，-logx=log(1/x)
推 tsoahans    : sum(x_i*ln(1/x_i))<=ln(sum(x_i*1/x_i))=ln(n)
t大謝謝！原來上幾樓a大要我變通一下就是把x改成1/x....

→ wohtp       : 你不願意用歸納法嗎？
沒有排斥阿XD 能證出來都OK

推 LiamIssac   : 這種題目都是有規律的 LM的偏微步驟做一兩個就可以
→ LiamIssac   : 寫出全部(xi跟lambda) 剩下就是解方程式(但一定可以
→ LiamIssac   : 馬上看出你要的東西)
算是習慣吧 我都把LM當作最後手段

因為這題目很有規律 用LM感覺殺雞用牛刀的感覺XDD
※ 編輯: znmkhxrw (210.242.52.37), 06/06/2018 17:45:33
推 chemmachine : 這題可以用琴生(如上述)和kkt條件