[問題] EM演算法，填補缺失值

[deniel367 (dann)]

大家好，最近在讀EM(expectation maximization) algorithm，卡關了...ＱＱ 在網路上
搜尋了一番，苦惱了兩天也找不到答案
卡關的部分主要在於，不太懂如何用EM去填補缺失值 (missing values imputation)

先說我對於EM本身的了解程度：
我對於EM的理解來自於這篇文：https://reurl.cc/Y9NRL
文中提到的算法推導過程我大概可以懂，對於文中提到的EM其中一種使用方法我也可以懂
。(文中提到可以使用EM去把200個人(有男有女)分成兩群，男＆女，並且分別估計這兩群
的分佈的參數)


但是我想不通如何用EM去填補缺失值，網上也找不到實例說明。
我的猜想是.. 參考文中提到的notation，我們把x另為observed, 那z就是missing value
s
我們最主要目的是要最大化 L(x,z | θ )，然後透過EM的不斷迭代去不斷估計z，最後收
斂，填補缺失值？
如果我的這個猜想是對的，那麼有兩個問題：


1, 文中的p，也就是機率密度函數，要如何設定。
另外我看到有人用SPSS，https://reurl.cc/dXkvk，選擇normal！這個也很讓人困惑。
這是代表一個datasets裏頭，所有的variables都分別是normal distribution，然後最大
概似估計的p是所有的normal混在一起嗎？

1, 文中提到的E-step，僅得出z的posterior probability，可以用這個資訊來得到z的估
計值嗎？ 如果missing values有5個，那估計出來的是對應到5個中哪一個？


如果我上面兩個問題很不清楚，甚至是根本問錯問題...真的很抱歉。
覺得現在一片混亂..QQ 可能處在一個連問問題都不太知道該怎麼問的狀態


謝謝！

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.231.125.22
※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1544341983.A.94C.html
→ obarisk: 都用em了，為什麼要補值？
→ obarisk: 直接進到後面的m啊...
→ deniel367: obarisk： 大大不好意思，我不太懂你的意思。我今天的
→ deniel367: 主要目的就是要 impute missing values，然後想要用 EM
→ deniel367: 的方式，什麼叫做不用補值...
→ jayfei2000: 請問你有沒有去臉書的相關社團詢問過?
→ deniel367: jayfei2000 : 沒有，好奇怎麼會這樣問
推 celestialgod: EM是計算資料有遺失或是未觀察的變數下的likelihood
推 celestialgod: ，通常遺失或未觀察的值並不會直接拿來用，它只是過
推 celestialgod: 程中的一個參數而已。
推 celestialgod: 最常見的例子是GMM，它是假設資料來自多群Gaussian
推 celestialgod: 分佈（常態），而我們不知道它mixture的比例，我們
推 celestialgod: 透過對沒有觀察到的變數Z，代表各群，進而求得每一
推 celestialgod: 群的mean跟variance。當然我們最後可以z當做cluster
推 celestialgod: ing的output。
→ deniel367: celestialgod： 謝謝回覆。你提到通常遺失或未觀察的
→ deniel367: 值並不會直接拿來用，這句話我有疑問。
→ deniel367: 因為我在網路看過許多例子，以及一些實證研究的論文有
→ deniel367: 用EM來填補缺失值，得到不錯效果，也常看到一種說法是
→ deniel367: ，EM通常是除了multiple imputation法之外，最被推薦
→ deniel367: 的填補缺失值的方法。
→ deniel367: 舉國內最知名的統計顧問，晨晰統計為例，他使用SPSS，
→ deniel367: 將EM法拿來填補缺失值：https://reurl.cc/Mba4n。
→ deniel367: 但是..小弟我搞到懷疑人生..懷疑自己不適合繼續做統計
→ deniel367: 、讀數學.. 搜尋了三天還是想不通具體而言是怎麼填補
→ deniel367: 的QQ
→ deniel367: 我自己猜是這樣：用大大你提到的notation：Z，隱藏變量
→ deniel367: ，然後令X為觀察值。 每一次E-step，填補的缺失值就是
→ deniel367:  E(Z | X,θ)。 我最主要問題是..這個期望值的機率密
→ deniel367: 度函數是什麼？X要取所有的觀察值嗎？還是只要取同一
→ deniel367: 個case的其他觀察值即可？諸如此類細節步驟的問題
→ obarisk: 如果是專業的話，請讀
→ obarisk: Statistical Analysis with Missing Data
→ obarisk: Little, Rubin
→ obarisk: 然後自己寫一次 EM。分配看你的假設，套裝軟體應該就是常
→ obarisk: 態，自己寫EM就看你怎麼假設分配
→ obarisk: 但是EM的精神真的不是用來補值...值一補進去，統計量就
→ obarisk: 就會受影響
→ jayfei2000: 臉書的相關社團 有一些高手存在，
→ jayfei2000: 就我所知道的「大學數學」這個社團裡面有各個大學的
→ jayfei2000: 助教跟博士研究生。
→ jayfei2000: 所以你去找一找臉書的相關社團 （國內外）詢問，
→ jayfei2000: 說不定也可以得到答案。
→ jayfei2000: 臉書的外國社團是五花八門的，
→ jayfei2000: 什麼都有。
→ celestialgod: 可是要用EM的前提是要知道資料的分布
→ celestialgod: 通常資料也不是常態那麼簡單，我無法理解你說的
→ celestialgod: 除了multiple imputation外，最常用的是EM這句話
→ celestialgod: 我還是覺得像是obarisk板友說的去看專業書籍所討論
→ celestialgod: 的方法會比較好
→ celestialgod: 至於你問的問題，我覺得你應該直接去看一下GMM怎麼
→ celestialgod: 推導比較有感覺
→ obarisk: Gaussian Mixture Model嗎
→ obarisk: 確實比較容易瞭解EM
→ clickhere: E(Z|X,θ)只適用在logL為Z的線性函數才是對的.
→ clickhere: 一般就只有Binomial,Normal,Mixture才像是在impute.
→ clickhere: 其他情形可不一定是.
→ clickhere: E-step的正確說法並不是在補遺失值.
→ clickhere: Wiki上的 Expectation–maximization algorithm 講得很
→ clickhere: 清楚.
→ deniel367: 謝謝各位 解說，我再看看