[問題] 兩種實驗方式的比較

[saltlake (SaltLake)]

  假設我們要證實某個檢驗方式甲的性能比檢驗方式乙的要好，

  請問下列兩種設計在驗證能力上有甚麼差異?

1. 找300個樣本，以隨機的方式平均分配給實驗組(用甲測)和

   控制組(用乙測)。分配和檢驗的過程都保持盲性，之後的數據

   分析也保持盲性。

   檢測的指標有3個: 子項、丑項、寅項。

   各單項檢測指標的差值(甲的減去乙的)之虛無假說是無差異，

   對立假說是有差異(差值可能是正值或負值)。

   然後我們計算假設虛無假說為真的情況下，各檢測指標差值，

   以及它們的 P-值。

    P-值超過(小於)臨界值表示有統計顯著性而可拒絕虛無假說。

   各單項差值假如是正值，表示這方面甲比乙好，反之則較不好。

2. 找300個樣本，實驗組是對它們用甲檢測，控制組適用乙檢測。

   至於試驗指標和甲說測試則和前一種設計完全相同。


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.136.58.19
※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1533308512.A.751.html
→ Altair: 第二種設計沒做隨機分配?
→ Altair: 你的目的是進行多因子實驗設計?
  厄，如果先考慮每個檢測只測一個指標的情況呢?

→ andrew43: 看不明白第二種方法實際是什麼
   因為做了甲測試之後再做乙測試(或先乙後甲)，結果之間不會有交互影響，

   反正具體檢測試對某個樣本本體取下測試體，然後用測試體進行甲或乙測試

   。所以想說用第 2 種設計必較省事，而且樣本數倍增。

   至於隨機分配，假設各個樣本之間本就存有隨機差異可以嗎? 比方說就算各個

   樣本是工廠生產線出來的罐頭，理論上每個都一模一樣，實際上還是有些不同

   ，所以才有良率的問題。或者當樣本是病人，我們對事對個病人抽點血或取點

   尿，然後對每個病人的血或尿用甲(或乙)檢驗方法測3個指標，這樣病人的樣本

   之間本來就有差異。
※ 編輯: saltlake (220.136.58.19), 08/04/2018 20:28:26
※ 編輯: saltlake (220.136.58.19), 08/04/2018 20:43:59

   拿西瓜當例子。傳統上有用手拍西瓜並聽聲音來測試西瓜好壞，假設這是乙測

   試法。然後我們有用超因波掃描器掃描西瓜接受通過西瓜的超音波訊號判別好

   壞的另一種測試法(甲測試法)。

   樣本數大統計檢定力高，可是要確認甲乙測事法的正確性必須把西瓜剖開，這種

   破壞性測試有成本，不希望做太多樣本。

   上述第2種設計可以有300樣本，是第1種設計的2倍。但是不知道這第2種設計有否

   統計上的問題；倘有，甚麼問題。

※ 編輯: saltlake (220.136.58.19), 08/04/2018 21:20:59
→ andrew43: 你可以先確認同一個樣本先做甲檢測再做乙檢測（或相反）
→ andrew43: 會不會對結果有任何影響。
→ andrew43: 如果沒有影響的話，那實驗方法二就是模型多考慮受測單位
→ andrew43: 為一項隨機因子。
→ andrew43: 此二種設計的結果分別類似於獨立t檢驗和配對t檢驗
→ recorriendo: 就是between-subjects vs. within-subjects design
→ recorriendo: 隨便查基本實驗設計的書就有了
→ recorriendo: 注意within-sibjects design不代表不用隨機化
→ recorriendo: 要排除order effect最嚴謹的方法就是隨機化干預順序