看板 Statistics 關於我們 聯絡資訊
一般在結構方程式 (Structure Equation Model, SEM)當中,總是可以看到利用Factor Analysis尋找潛伏變數 (Latent Variable)。但是最近看到一篇文獻,作者在SEM模型當 中使用Principle Components Analysis (雖然他並沒有說他用的是Latent Variable)。 但是這引起我的好奇心,到底使用Factor Analysis和Principle Components Analysis有 甚麼明顯的涵義。 舉個例子簡單說明Factor Analysis和Principle Components Analysis的區別。假設有兩 個觀察變數(Observed variables),x1和 x2。 Factor Analysis: x1 = f1*L + e1 x2 = f2*L + e2 這裡的L是我們想要找的Latent Variable,f1和f2是所謂的loading,相當於迴歸分析的 係數,e1和e2這相當於迴歸分析的殘差項。 Principle Components Analysis: f1*x1 + f2*x2 = Y Principle Components Analysis是透過weights (f1和f2)把觀察變數x1和x2合併起來。 一般來說,Factor Analysis和Principle Components Analysis也被視為是一種維度縮減 的工具,也就是說,把x1和x2濃縮成具有代表性L和Y。 所以我的問題是: 為何在SEM當中,大部份只有使用Factor Analysis,較少使用 Principle Components Analysis? 還有這兩個工具,除了數學上的不同之外,還有什麼 其他重要的意義? 謝謝大家耐心把問題看完~~ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 98.235.233.212 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1632349558.A.D49.html
andrew43: 不同之處在網上查大概花三天都看不完吧。舉一個,FA轉軸 09/23 16:14
andrew43: 不同也造成f1/2不同。 09/23 16:15
andrew43: 最常見的說法:PCA用於將有相關變數合併至少數重要組成 09/23 16:17
andrew43: FA用於檢視或檢驗特定模型下的內部變數 09/23 16:18
locka: 請教a大,數學上來說PCA是不是找尋loss最小的軸進行投影? 09/23 17:29
locka: 可以這樣解釋嗎? 09/23 17:29
andrew43: loss function要先指定。 09/23 17:34
recorriendo: 你的數學式都寫了啊 FA有考慮Gaussian noise 09/23 23:31
recorriendo: PCA是直接給最大變異度的方向 不管那個方向是noise 09/23 23:34
recorriendo: 還是signal 09/23 23:34
recorriendo: 另外如果取兩個以上的PC 那麼PCA還加了weight垂直的 09/23 23:35
recorriendo: 條件 09/23 23:35
incessantgas: @andrew43 & @recorriendo: 同意你們的見解 09/24 00:17
incessantgas: FA和PCA在數學表達有很明顯的差異,各自的目的也不 09/24 00:18
incessantgas: 相同。但還是不明白為何在SEM的架構之下,至少是許 09/24 00:19
incessantgas: 多的教科書中,為何多只專注於利用FA找出 09/24 00:19
incessantgas: Latent Variable? 09/24 00:20
assommoir: 心理測驗有個東西叫古典測驗理論,認為每個問卷或試題 09/24 10:10
assommoir: 都有測量誤差,認為潛在構念應是真分數的部分,所以在 09/24 10:10
assommoir: 估計對象和pca不同。我的理解pca是直接對相關係數矩陣 09/24 10:11
assommoir: 作eigen分解,而fa分解的對象是R-psi, psi是對角矩陣 09/24 10:11
assommoir: ,為誤差變異。 09/24 10:11
recorriendo: 重點是得到的factor/PC在你的理論框架內有什麼意義 09/24 14:07
recorriendo: 數學上當然都算得出來 09/24 14:07
recorriendo: 正如樓上所說 factor在心裡/社會科學代表某個"東西" 09/24 14:11
recorriendo: 這是心理/社會科學層面的問題 不是數學問題 09/24 14:11
raiderho: 同意樓上,PCA更偏探索性的分析,找到主軸以後再解釋為 09/24 18:34
raiderho: 何(或者甚至不解釋,丟入機器學習模型訓練),但FA的因子 09/24 18:34
raiderho: 已經是「事先知道是什麼」才進行測量了,就算是探索式因 09/24 18:34
raiderho: 素分析(EFA),決定的也是因子個數篩選、或用來琢磨潛變 09/24 18:34
raiderho: 量概念和因子的關係。至於SEM,是明確所有因子和潛變量 09/24 18:34
raiderho: 關係以後,根據領域知識進行潛變量關係的探討,是驗證性 09/24 18:34
raiderho: 的分析了。 09/24 18:34