[問題] Reviewer叫我解釋P值小於0.05的部份?

[GuoJee (喔~MY GOD)]

不好意思想請教各位統計高手

我寫的paper最近被要求revise，其中關於統計的部份

Reviewer回覆"Lines 112-113 on statistical significance need to be clarified.
There are 27 p values, so by chance alone one or two would be expected to fall
at p < 0.05. The authors should explain that p < 0.05 was used to look for
potential differences, not statistical significance.
The only cases of p < 0.05 favored the Stratus, so readers can be confident
that Spectralis was not better, and this was not a matter of sample size."

其實我的原文只有"A p value of < 0.05 was considered to be statistically
significant, and all statistical tests were two-sided."

不知道有沒有板友知道reviewer想要我解釋的是什麼?
我不是學統計出身...一直以為P<0.05就代表statistically significant呀 = =

補充說明:
Stratus跟Spectralis是我比較兩種工具，paper是利用兩種工具做出的參數值
來比較它們兩個的表現能力孰優孰劣

我使用的統計只是很簡單的t-test (for continuous variables)跟chi-square (for
categorical variables)...

盼統計強者不吝回答><

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.117.232.112
※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1432314926.A.9F9.html
推 evilove: 應該不是方法的問題，而是解釋的問題。
→ evilove: 不用去強調p，而是去白話解釋統計意義。
→ evilove: 譬如 結果顯示St比Sp的表現能力好(P<.05)
→ andrew43: 第二句話要注意是否有型一錯誤膨脹的問題，因為你的p值
→ andrew43: 非常多個。
→ andrew43: 例如，alpha=0.05時，H0為真的情況做20次約一次會拒絕
→ andrew43: H0，所以reviewer也是在提醒你這個問題。
→ andrew43: 以上只是推測啦，沒看到完整內容也不確定有沒有這個問題
→ andrew43: 如果你的27個p值都是以t-test比較這二種方法，那就要注
→ andrew43: 意我說的了。
推 allen1985: 試著用一些multiple comparison的方法來調整p-value?
→ andrew43: 或著是多變量分析，如果是多變量的設計。
推 sweetJ: 只有兩組方法為什麼會有27組p-value?
→ yhliu: 評審的意見是說你有27個檢定(27個 p值), 單純機會因素就能
→ yhliu: 導致一兩個 p值小於 0.05.
→ yhliu: 因此你只能說用 p值小於 0.05 來尋找可能的差異, 而不能說
→ yhliu: 那就是具有顯著性.
→ yhliu: 如果你的27個 p 值之中小於 0.05 的只有極少幾個, 那麼這結
→ yhliu: 果是可議的. 如果有很多 p 值小於 0.05, 那麼要確定顯著性,
→ yhliu: 可考慮 allen1985 的提議. 一個簡單的方法是以 0.05/27 為
→ yhliu: t 檢定的顯著水準.
→ bmka: 你只需要多加一句話就可以
→ bmka: P-values were not adjusted for multiple comparisons due
→ bmka: to exploratory nature of the study.
→ bmka: reviewer想看到的就是這句話出現在你的文章中
→ bmka: 不必重做分析
→ GuoJee: 謝謝樓上強者們的建議!! 我大概瞭解意思了