[問題] P值大小與顯著、非常顯著？

[youchen (youchen)]

各位高手先進大家好，最近我遇到一個問題，想尋求各位大大解惑...

我們知道P值的定義是“在H0成立（u1 - u2 = 0，或是u1 = u2）的情況下，
出現我們這次實驗結果的機率”。如果說機率過小（小於0.05或0.01）的話，
表示H0的假設可能是錯誤的，應該要reject。
但有些資料寫說，“P < 0.05表示顯著，P < 0.01表示非常顯著，
P < 0.001表示極為顯著”。
但是我又看到有參考資料表示說，“因為P值是表示機率，所以不能用P值來描述
顯著差異的程度，只有表示有，或無顯著差異”。
比如：不能說P < 0.01的結果比P < 0.05的結果還要顯著，
也不能說P < 0.01的差異程度比P < 0.05還要大。


但是，如果把H0: u1-u2 = 0畫成分布圖的話（如圖）
http://i.imgur.com/qYO5ddW.jpg
若u1與u2的差異愈大，其u1 - u2的值就會愈接近兩邊2SD或3SD以外的
0.05或是0.01棄卻區（為求簡單化，請忽略單雙尾）。
也就是說如果u1 - u2的值位於0.01的棄卻區的話，u1和u2的差異
就是比位於0.05時還要大。
那這樣也不能說P < 0.01時的差異比P < 0.05時還要顯著嗎？


想請問一下以上論述的盲點在哪裡？
P值又是否可以表示顯著差異的程度呢？

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 160.252.170.14
※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1465808622.A.972.html
推 fred1541: 其實是兩面相輔說法
推 andrew43: 想一下什麼是「顯著差異的程度」
→ andrew43: 另外，從你的描述來看，猜測你似乎在問effect size
推 methylin: 可以p值很小但effect size 也很小
推 methylin: 有很強的證據顯示差距只有一點點
推 sam7207: 下這樣的決策 犯錯的機會較小 <=> 口語說 顯著的證據
→ yhliu: (1) p值不是 "出現我們這次實驗結果的機率", 是
→ yhliu:     "出現比目前結果更極端或同樣極端的機率".
→ yhliu:     另一定義是 "目前結果可判定顯著的最小顯著水準".
→ yhliu:     所以 p< 0.05 表 顯著水準在0.05以上目前結果是顯著的.
→ yhliu: (2) p當然可以代表 "顯著的程度", 但它不代表 "差異程度".
→ yhliu:     "顯著程度" 是指在允許多大的顯著水準下, 也就是在允
→ yhliu:     許多大的型I誤機率下依目前結果能判定顯著, 也被當作
→ yhliu:     "證據強度" 的一種指標. "差異程度" 則是指真實參數與
→ yhliu:     虛無假說距離多遠.
推 recorriendo: 理論上alpha是實驗開始前就選定的 P<alpha就是不顯著
→ recorriendo: alpha代表了你這個實驗能容忍的type I error rate
→ recorriendo: 所以實驗的可信度是和一開始就決定的alpha有關 不是P
→ recorriendo: 事實上你跑個簡單模擬就知道了 從符合H0的亂數中取
→ recorriendo: 1000次data來做檢驗 就發現其中會讓你拒絕H0的比例就
→ recorriendo: 是alpha 而這些錯誤拒絕H0的檢驗 P可以很小 也可以
→ recorriendo: 只比alpha小一點
推 bmka: ASA's statement on statistical significance and p-values
→ bmka: www.amstat.org/newsroom/pressreleases/P-ValueStatement.p
→ bmka: df
→ TOOYA: P值的定義就錯了