[問題] 避免多重統計測試偽陽提高

[saltlake (SaltLake)]

 統計測試裡面控制偽陽性的參數用 a 表示時，常用 5% 值做限制。

 但是遇到多重測試的狀況，因為測試的次數多了，即使真正狀況是

 虛無假說正確，也有機會 (a) 遇到偽陽狀況，及測到可以推翻虛無

 假說的情況。

   書上查到這時候可以把機率域值 (p-value) 調低: pk = p/k

   k 是測試的次數。

 這樣就可以確定進行所有的測試還是只會遇到 a (5%) 的偽陽性。

   有人知道這怎麼證明嗎?

   另外，用較小的 pk 代替 p，雖然偽陽性控制了，但是這一來每次

 測試要達到「有效果」的標準更嚴，不會把「本該有效果卻誤以為沒

 效」的偽陰性機率提高了嗎?

   怎樣控制偽陰性呢? 如果要做多重測試的話?

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.24.70.64 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1598569192.A.4E5.html
→ andrew43: 採用power更好的矯正方法
→ yhliu: 你的 "偽陽性" 在統計上稱 "型Ｉ誤", "偽陰性" 是 "型II誤"
→ andrew43: 另，因目的不同，控制型一錯也有不同容許程度。不見得
→ andrew43: 非得一個錯都不可發生。
→ yhliu: 談 "型II誤" 或你所謂 "偽陰性" 要論真實值離假設值多遠才
→ yhliu: 算 "陽性"(有差異、差異顯著等等).
→ yhliu: 控制 "型II誤" 的方法是靠樣本大小.
→ Pieteacher: 可以參考 FDR
推 bruce89: google bonferroni
→ recorriendo: 證明基本就是Markov inequality而已
→ yhliu: 在多組資料相互比較時有整體多組資料有無差異之整體性檢定
→ yhliu: 控制整體型Ｉ誤, 而個別兩兩比較則可以用較寬鬆方法. 但此
→ yhliu: 處是比如一個研究報告中做了無數個檢定, 基於型Ｉ誤之被允
→ yhliu: 許存在, 大量統計檢定中幾乎必然出現隨機性的 "顯著" 結論.
→ yhliu: Bonerroni 是解決這種虛假顯著的重要方法, 卻也只是理論之
→ yhliu: 談. 想像一個研究可能做多少次假說檢定? 列於報告中的不過
→ yhliu: 是其中少數罷了. 即使如此, 也不可能真把每個檢定的顯著水
→ yhliu: 準由 0.05 降為 0.0005 之類的, 更別說這樣做造成低檢定力
→ yhliu: 難以令人接受. 因此, 真正關鍵還是在研究者心態: 別為那
→ yhliu: "顯著" 結果沾沾自喜, 更別為之擴大解讀. 多點謙卑的心, 多
→ yhliu: 點懷疑的精神, 對結果做保守的解釋吧!
推 andy10217: 推樓上