Re: [問題] 交互作用 負負相乘的問題

[Prozac (沒事不要亂吃)]

可討論的點很多


不過既然原po提到用中心化處理共線性

那我就以這點分享一點看法

我不認為中心化主要目的是處理共線性的問題

一般而言

共線性來自於迴歸係數的估計式會受到獨變數之間的相關影響

公式請詳見迴歸書或是一般統計書

對於加入的連乘積項X1X2可能會造成共線性的問題

改為中心化的C1C2可能可以處理這問題

但也不是屢試不爽的好方法

剛剛隨便弄了個例子就發現中心化反而相關上升


我會從交互作用的意義來看中心化的好處

中心化(centering)

最簡單的想法就像計算共變數公式要去中心一樣

減掉平均數是為了控制兩變數在同一個起始點上

看兩變數之間的大小關係是否有所相關

有的話共變程度大 沒有的話共變程度小 > 也可以套至相關


那為何處理調節變項要去中心化？

我先來談調節變項的意義

簡單而言，調節變項是捕捉交互作用的效果

交互作用的效果可以稱為某獨變項影響依變項的效果

受到另一個讀變項的影響的效果

很饒口對吧？

那簡單一點來講

交互作用就是非線性的效果的一種

從定義把數學式子寫一寫就很簡單了

假設X1的對Y的預測能力（或是說效果影響等等都可以）受到X2的大小影響

也就是X2的大小 會影響到X1影響Y的效果或是預測能力

以上可以寫成

Y = a0 + (a1 + a2X2)X1 + a3X2

  = a0 + a1X1 + a3X2 + a1a2X1X2

  = B0 + B1X1 + B2X2 +B3X1X2

在數學上X1X2就是一個非線性的效果

我們可以說因為存在交互作用

因此單就線性模型Y = B0 + B1X1 + B2X2 不足夠

需要在加上X1X2的乘積項捕捉交互作用的效果


那如果不作中心化會怎樣？

此時B3會很難解釋！！

X1X2上升一單位

在沒有中心化處理下意義完全不明！

因為X1 X2 可能一個是身高 一個是5點量表

他們的乘積上升一單位？嗯？沒人知道那是啥鬼

但是中心化後

X1X2上升一單為的意義就是 兩者往共同方向移動了一單位

這就會讓研究者方便許多


那既然如此我就來在推導一下

其實中心化就只是針對X1X2的乘積項

至於X1 和 X2 其實是可以不需要中心化的

上一篇提到的那本回歸參考書（A先生＆W先生）也有提到這點

令C1為中心化過的X1 M1為X1的平均數


Y = b0 + b1X1 + b2X2 + b3C1C2

  = b0 + b1C1 + b2C2 + b3C1C2 + b1M1 + b2M2

  = b0'+ b1C1 + b2C2 + b3C1C2

也就是說 不管X1放的是原始資料還是中心化過的C1

這都只影響到截距項的估計

對其他係數不會任何影響～


詳細推導

請參考書籍

以上只是一點淺見

--

額外話

每次看到有人用工讀生時薪在徵統計分析幫手

都覺得囧


或許某些老師覺得統計就是點一點寫寫語法而已

沒啥了不起

就把資料丟進去把結果給他 然後他就可以寫paper 科科


※ 引述《coldwind0912 (隨風而逝~)》之銘言：
: 我是用一個比較簡單的方法來舉例
: 我在舉一個例子
:        x1 x2  x1x2
: case1   6  9    54
: case2   2  3     6
: 假設x1 mean=4     x2 mean=6
: 所以中心化之後：
:        x1' x2'  x1'x2'
: case1   2  3    6
: case2  -2 -3    6
: 請問c大這樣一樣是合理的嗎？謝謝？
: 我還是不太懂你的意思:)
: 從你這個例子來說
: 當我們假定 X1 X2 都是一個 0~10 的分數 正代表滿意 負代表不滿意
: ※(其實負分 根本不存在因為尺度是0~10 不會有負)
: 在csae1的情況 當X1在中心化前是6 中心化後是2
: 對於X1的意義而言 不論是6還是2 都是代表滿意
: 可是 如果太執著數字大小 會誤認為 在中心化後 滿意度降低了(這是錯的觀念)
: 實際上 中心化前的6分 和 中心化後的2分 是一樣的
: 因為尺度已經從 0~10 變成 -4 ~ 6 (Mean=4，同減)
: 但是 首先 會有問題的是X1在case2的時候
: 在case2的情況 X1在中心化前是2 中心化後是-2
: 但是 對於X1的意義而言 不論是2還是-2 一樣都還是代表滿意(請見前述※處)
: 實際上 中心化前的2分 和 中心化後的-2分 是一樣的
: 因為尺度已經從 0~10 變成 -4 ~ 6 (Mean=4，同減)
: 最後 就是交互作用項的問題
: 基本上 這也是這個問題當中 最複雜的一點
: 因為 交互作用的說明 不是直接以數字的正負或大小 就能理解的
: 以CASE1 來說 你一定會問 中心化前的54 中心化後的6 為什麼會變化那麼多?
: 以CASE2 來說 你就是問 中心化前的6 和 中心化後 負負得正的6 是一樣的嗎?
: 其實 這裡我也很難以一個中文說法來表達
: 不過 基本上 對於中心化的議題 大部份都是參考Aiken&West(1991)的paper
: 或許這麼說好了(也許會有點言不及意 這是我個人的解讀)
: 不論是case1的54和6 或case2的6和6
: 基本上 它都是「反應X1和X2同時在Y上 高低程度的共同比例效果」
: 只是 在中心化前 會受平均數的影響
: 但是 就這個例子而言
: case1的x1和x2為6,9 case2為2,3 其實這比例效果是一樣的(中心化後都為6)
: 所以 回到問題 中心化的操作 或許很簡單 但是 中心化的意義 很複雜
: 有時 不要用正負、大小 就直接思考判斷
: 在交互作用的議題裡 這種直觀式的判斷 往往都是錯的
: 也希望有板上其他高手 來進一步說明或一討論這個中心化的問題吧 我的能力也有限

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 61.224.49.80
推 coldwind0912:推導詳細 先給推 尤其是"交互作用是非線性關係"
→ coldwind0912:只是 對於前述 中心化與共線性無關之觀點 尚加保留
→ coldwind0912:我個人不敢這麼斬釘截鐵 只是我的確有聽聞這個說法
→ coldwind0912:但就當前在學術paper的呈現而言
→ coldwind0912:中心化 確實是回應共線性爭議的權宜之計
→ Prozac:嗯 如果是就相乘項和其他變數共線性的問題 去中心化的確是
→ Prozac:我想我前面是指其他變數的共線性問題 不過這樣寫實在不好
→ Prozac:感謝你的提醒！
推 wlsherica:推~ 也推最後一段
→ Prozac:樓上似乎也是常在pt板用統計當關鍵字搜尋的 哈哈
推 wlsherica:XD 觀賞一下現在的價位嘛
→ bmka:你中間的說法似乎把centering跟standardization搞混了
→ chenyutn:是說會sem時薪一百的那篇文嗎 XD
→ coldwind0912:原來大家都在討論 後站大學那篇 會SEM時薪100的文 XD
→ coldwind0912:回b大 對截距而言 中心化也是標準化的其中一種方法吧
→ bmka:??
→ bmka:你這句話邏輯怪怪的
→ bmka:Are you sure what you are talking about?
推 evilove:我也有搞混，為什麼減去平均數能稱為標準化？
→ coldwind0912:對截距而言...
→ Prozac:中間哪邊的說法？ B大可以講詳細點嗎？
→ Prozac:標準化包涵中心化的效果 不過後者並沒有調整尺度
→ Prozac:不知道B大是不是指起跑點那句話
→ coldwind0912:標準化&中心化都是讓截距歸零 但標準化還去除了單位
→ bmka:"X1X2上升一單位 在沒有中心化處理下意義完全不明！"
→ bmka:這段話開始,你指的應是標準化,而不是單純的中心化
→ bmka:"標準化&中心化都是讓截距歸零"..沒這種說法吧...
→ bmka:c大, 所以中心化不是標準化
→ Prozac:X1X2上升一單位 和有沒有標準化不影響吧 1單位就是0變1
→ Prozac:不過兩者尺度差很多時 乘積也實在不好解釋
→ bmka:如果你不是在談標準化,何必舉單位不同的例子?
→ bmka:還有"兩者往共同方向移動了一單位"這句話需要再解釋
→ bmka:否則會有誤解
→ Prozac:嗯 我想不是DUMMY VARIBLE 相乘項係數都不是很好解釋
→ Prozac:感謝B大的指教 剛作了些小模擬 要解釋相乘項實在不容易
→ coldwind0912:我覺得 P大的那段說明並不會令人搞混呀....
→ coldwind0912:對於單位不同的變項 使用標準化做資料調整固然沒錯
→ coldwind0912:但是 依照P大例子 其實中心化就足以進行解釋
→ coldwind0912:我個人是覺得 不必使用到標準化
→ coldwind0912:只是 標準化涉及去除單位 有時 失去單位未必利於解釋
→ coldwind0912:至於 有關兩種方法都涉及"讓截距歸零"的說法...
→ coldwind0912:基本上 會在此討論中的人 都明白中心化不等於標準化
→ coldwind0912:但是 標準化的過程 一定經過中心化 這應該不需要爭了
→ coldwind0912:但如同前述 標準化去除了單位 未必有利於資料的解釋
→ coldwind0912:而且 對於某些測量尺度而言 截距本身就難以解釋
→ coldwind0912:如果在中心化或標準化的選擇上 更應該謹慎選擇....

既然大家都聊這麼高興

我就來讓所謂中心化會讓研究者更好解釋這件事具象化一點

假設樣本數20

X1為滿意度五點量表（平均數3.15）

X2為身高（平均數164.68）

甲的身高是136.8 滿意度是1

乙的身高是136.4 滿意度是5


X1X2（甲） 為 136.8

X1X2（乙） 為 682.1

中心化

C1C2（甲） 為 -52.29

C1C2（乙） 為 59.95

兩者都可以補抓一個事實

當身高越高（低）滿意度約高（低）相乘積越大

而反之身高越高（低）滿意度越低（高）則會越小

但是中心化可以讓這件事情變得更極端

從資料來看甲乙的X1X2只有高低之分（皆為正數）

但C1C2卻是一正一負

事實上X1X2的資料無法給予太多資訊

因此再解釋上

我們可以很確定C1C2代表的是一種"共變"的指標

X1X2則沒有辦法

其實也不用講這麼複雜想想共變數的定義就知道了（汗）

附上資料讓各位參考看看

       X1  X2     C1     C2    X1X2    C1C2
 [1,]  4 181.29  0.85  16.606 725.16  14.1151
 [2,]  4 182.36  0.85  17.676 729.44  15.0246
 [3,]  5 176.17  1.85  11.486 880.85  21.2491
 [4,]  4 145.14  0.85 -19.544 580.56 -16.6124
 [5,]  1 163.05 -2.15  -1.634 163.05   3.5131
 [6,]  3 176.93 -0.15  12.246 530.79  -1.8369
 [7,]  3 157.06 -0.15  -7.624 471.18   1.1436
 [8,]  4 131.96  0.85 -32.724 527.84 -27.8154
 [9,]  5 196.84  1.85  32.156 984.20  59.4886
[10,]  1 196.80 -2.15  32.116 196.80 -69.0494
[11,]  1 163.98 -2.15  -0.704 163.98   1.5136
[12,]  4 181.44  0.85  16.756 725.76  14.2426
[13,]  3 168.90 -0.15   4.216 506.70  -0.6324
[14,]  4 181.92  0.85  17.236 727.68  14.6506
[15,]  5 136.42  1.85 -28.264 682.10 -52.2884
[16,]  4 144.32  0.85 -20.364 577.28 -17.3094
[17,]  3 138.78 -0.15 -25.904 416.34   3.8856
[18,]  2 144.94 -1.15 -19.744 289.88  22.7056
[19,]  2 188.58 -1.15  23.896 377.16 -27.4804
[20,]  1 136.80 -2.15 -27.884 136.80  59.9506

看看資料應該就很明白我想表達的意含了

我想這就是我認為中心化會比較好解釋的理由

至於標準化那件事

X1X2有無標準化都只會影響係數估計值

對R SQUARE和係數檢定都不會有影響

我覺得這就取決於研究者的習慣即可

以上是拙劣的鋪陳 感謝耐心看完的板友
※ 編輯: Prozac          來自: 61.224.49.80         (10/09 01:00)
推 coldwind0912:P大 辛苦了....
→ Prozac:我一定是不想寫作業才這麼認真回文 唉唉
→ coldwind0912:其實 從sample 9.10.15.20 的比較就可以明白原理 XD
→ Prozac:反正也只是複製貼上而已哈哈 冷風大我要出門去 有空再聊啦
→ bmka:看不太懂你想表達什麼...59.95 vs -52.29比682.1 vs. 136.8
→ bmka:極端? 極端在哪裡?只是因為有負號嘛..極端好像不該是這樣定義
→ bmka:為什麼C1C2代表的是一種"共變"的指標,X1X2則沒有辦法?
→ bmka:沒有辦法是什麼意思?
→ Prozac:跟正負號無關 這跟共變數要減平均數的道理一樣
→ bmka:你應該拿Y = b0 + b1X1 + b2X2 + b3C1C2跟
→ bmka:Y = a0 + a1X1 + a2X2 +a3X1X2來比較然後進行你的論述
→ bmka:拿它來跟Y = d0 + d1C1 + d2C2 + d3C1C2比沒什麼意思
→ bmka:還有,你的regression model都寫錯了(包括我上面剪貼/編輯過
→ Prozac:如果B大看一下所附模擬資料 或許能抓到我的意思
→ bmka:的都是不正確的)
→ bmka:P大, 不是要故意找麻煩啦.不過如果這是篇報告的話,
→ bmka:會被我改得滿江紅
→ Prozac:資料點20 X1和X2同時很小 C1C2能反應出這共變程 X1X2則否
→ bmka:寫文章不能用一堆"形容詞"卻給不出定義來
→ Prozac:這不是報告 只是閒聊 但也很高興你的指教
→ bmka:X1, X2同時很小但是X1*X2看不出很小??? = =
→ Prozac:如果你指的寫錯是指Y應該是Y hat 那我承認這是很粗略的寫法
→ bmka:這不是"簡單疏失"而已(笑)
→ Prozac:X1X2同時小 X1X2當然小 = = 但是C1C2則的值卻會很大
→ Prozac:所以我說C1C2反應共變的效果 X1X2則否(除非平均數本來就零)
→ bmka:請定義什麼叫反應共變的效果
推 coldwind0912:以樣本9和樣本20作參照
→ coldwind0912:當X1,X2皆大時 X1X2極大(984.20) 但C1C2為59.49
→ coldwind0912:X1,X2皆小時 X1X2極小(136.80) 但C1C2仍為59.95
→ coldwind0912:由此可見 當X1,X2反應趨勢一致(皆大or皆小)時
→ coldwind0912:C1C2的effect是差不多的 但X1X2是不一樣的
→ coldwind0912:但加入樣本10和樣本15作參照時更可以發現
→ coldwind0912:當X1,X2呈現一大一小時 X1X2並不穩定
→ coldwind0912:分別為196.80、682.10
→ coldwind0912:但兩者在C1C2時卻也相對接近-69.05、-52.29
→ coldwind0912:或許這就是P大所謂"反應共變的效果"
→ coldwind0912:如同我前述的用詞 "反應趨勢一致"
→ coldwind0912:但這個現象的詞 在中文裡或許尚未有一致的用詞
→ coldwind0912:若b大對於這個現象有精準的用詞與定義 願聞其詳
→ coldwind0912:題外話一點 這應該是大家的閒聊、討論或交流
→ coldwind0912:不知道 為何b大要以作業批改的心態視之
→ coldwind0912:畢竟 我覺得不論是我或P大 post這些想法或為板友釋疑
→ coldwind0912:應該都不是在交作業給b大或眾板友批閱的吧!?
→ bmka:不嚴謹的說法不能討論批評嗎? 閒聊出門左轉有chat版
→ coldwind0912:或許 指正、批評、挑語病 三者需要有個明確的定義 XD

我覺得b大提的點跟對符號跟用字的精確，

都是我在描述事情的缺點，

所以我非常高興b大能有所指教！

不過我昨天凌晨實在有點不行了


共變的程度這不是很精確的用詞

我的原意只是希望板友能概念上的抓到我想講的東西

所以用了一些形容詞和詞彙等等

我試著看看能不能盡量簡截的把共變的程度作一個定義：

「定義為兩變數減去個別期望值的乘積，

正值表示兩變數大於或小於個別期望值，

負值表示有一變數大於其期望值及一變數小於其期望值，

此乘積的期望值等同於兩變數的共變異數(Covariance)。」

意義上，

樓上C大的舉例其實就很清楚明瞭了。

操作上，

將此乘積放入迴歸模型當作獨變項，其迴歸係數的檢定結果，

能幫助研究者瞭解，

在給定資料下，研究者認為存在交互作用，是否有統計上的支持。


不過我自己的心得是，很多人對符號並不敏感

需要多用舉例或是一些詞彙來說明會比較易懂

當然如果我又開始自嗨而用字亂七八糟不嚴謹時

希望往後b大也能不吝提醒！
※ 編輯: Prozac          來自: 114.43.117.75        (10/09 13:24)
推 evilove:b大在我的推文建議"把 x1*x2當成另一個變數z, 對新變數做
→ evilove:中心化"如果用這個方法模擬P大的資料，結果似乎不一樣。
→ evilove:(case9, case20) 會變成 (464.5225, -382.878) ？
推 coldwind0912:以我的經驗來說 P大的做法PAPER引用很普遍
→ coldwind0912:b大的作法 我倒是第一次聽到 不知道引述自何處
→ coldwind0912:而且 我以過去自己一篇已發表的paper數據進行實作
→ coldwind0912:原本的模式我就是使用 X1、X2、C1C2 → Y
→ coldwind0912:但改以 X1,X2,Z(centering後) → Y 結果估計值都不同
→ bmka:y大, 那你最好檢查一下你的程式
→ bmka:sorry, 是 c大
→ bmka:BTW, 我的建議是 X1,X2,X1*X2各自做centering,不是只有X1X2做
→ bmka:其實想法很簡單, 就是利用centering去處理collinearity(笑)
→ bmka:(假裝不知道它們之間的關係),不過,這只能避免一點計算上的
→ bmka:小小問題...好處是除了截距項外其他係數不會變
→ bmka:所以,我並沒有回答e大問的"如何處理負值"的問題 XD
→ bmka:對C1C2比X1X2在變數本身的解釋上有意義的看法,我不反對
→ bmka:但是用C1C2的目的最主要還是想解決collinearity的問題
→ bmka:Interaction term不能單獨解釋,要連main effects一起解釋
→ bmka:才會完整
→ bmka:所以e大舉的例子裡2*3=6,-2*-3=6,單看interaction的值似乎
→ bmka:不合理,但是如果再考慮(2, 3), (-2,-3)的不同就不會太奇怪了
→ bmka:可以用X1={-1,1}, X2={-1,1},畫個2X2 table來看就清楚了
推 bluechuchy:基本上，去中心化的用意在還原真實現象中的反應一致性
→ bluechuchy:趨勢，只是將數字上所膨脹的「虛假」還原真實「程度」
→ bluechuchy:b大還是去把Aiken&West(1991)抓出來看比較實際
→ bluechuchy:這就是為什麼2*3=6,-2*-3=6 在程度意義上為「相同」
→ bluechuchy:這不就是運用GLM方法上大家所最樂見的事嗎?
→ bluechuchy:(2, 3)→兩個都高，(-2,-3)→兩個都低
→ bluechuchy:所以，兩個相乘後皆為6，其實他們的趨勢意義上是相同的
→ bluechuchy:不知道這樣的解釋是否夠白話?
→ bmka:不如去看看 Echambadi and Hess (2007).Mean-Centering Does
→ bmka:Alleviate Collinearity Problems in Moderated Multiple
→ bmka:Regression Models.
→ bmka:中心化後的design matrix其實還是原來design matrix的
→ bmka:linear transformation. 所以covariate vector space所展開
→ bmka:的空間是一樣的,也就是說fitted model根本都是一樣的
→ bmka:做中心化只是讓新的design matrix 的cross-prodct在求矩陣
→ bmka:的反距陣的數值計算比較穩定(當cross-product matrix接近
→ bmka:singular的情況),也就是說只有在共線性非常強的時候才有可能
→ bmka:看到其效果,所以中心化其實純粹是解決數值運算問題
→ bmka:而不是fit了一個新的model...
→ bmka:請不要直接比較中心化(不管哪一種方式)跟沒有中心化的
→ bmka:regression table,然後說這兩個方法得到不一樣的結果
→ bmka:要記得,展開整理過再比,那麼你會發現不論是係數或是SE的估計
→ bmka:都是一模一樣(除了在很極端的case碰到求反矩陣的數值問題)
→ bmka:至於(X1-m1)*(X2-m2)比X1*X2解釋上是否比較有意義
→ bmka:我沒意見(也從沒反對過)
→ bmka:上面指的是單獨一項變數來看...但最終要解釋interaction
→ bmka:還是必須要把X1, X2納進來一起解釋
→ ADORIAN:上面最後兩句話是討論串的重點啦~ 直接去解釋 X1*X2 或
→ ADORIAN:(X1-m1)*(X2-m2)的數值都是無意義的.
推 evilove:b大的title少了一個字Mean-Centering Does Not Alleviate
→ evilove:謝謝各位給予建議的朋友們，現在觀念清楚多了^___^
→ bmka:oops, sorry....少一個NOT差很多.... XD
→ Prozac:水喔 文獻終於來了 我會找來看看 謝啦B大
→ Prozac:哈哈 PAPER裡的報表有很可愛的解說箭頭