看板 Statistics 關於我們 聯絡資訊
Hi 大家好, 最近小弟在工作上討論 A/B Test 遇到了一些卡住的地方 想看看有沒有人可以幫助解惑 XD 也想了解一下大家都怎麼理解這些問題~ 我們最近在討論的問題是關於使用時長的 A/B Test 在 A/B Test 裡我們做的步驟是這樣: 1. 關於實驗的步驟我們的假說是隨機抽取兩組人 (根據隨機試驗,我們相信足夠多人就可以代表母體) 2. 對他們過去幾天的使用時長做檢測,分佈一致才進行 3,否則回 1 重抽 3. 開始實驗 然而現在有一個爭論點是這樣的 我們要比較使用時長,我們應該看的指標是下列二者哪一種 1. 時長平均數 or 整體時長 2. 時長中位數 使用 1 的原因是我們的總體指標想看的是整體時長 所以用平均數或是直接用整體時長都可以有很好的 align 商業指標 另外因為平均 or 總體時長做出來會符合中央極限定理 所以很自然的可以使用 normal distribution 的 test 來做檢測 跟 confidence interval 的推估 市面上蠻多關於 skew dataset 的檢測也是類似的 (像是電商的 order revenue,做實驗有沒有平均 order revenue 成長, 也是觀測這類型 skew dataset 的變化) 這個的理論基礎大概是: https://www.mdrc.org/sites/default/files/full_533.pdf 使用 2 目前的狀況是因為 a. 平均時長很容易被時長很高的人拉走 b. 原本使用者的時長分佈並非 normal,所以不該用平均數 所以有部分的人認為應該是要觀測中位數的變化 這個的缺點大概是不一定能夠反映我們整體的指標變化 不確定這樣描述夠不夠清楚 QQ 想說看看板上各位大師的意見, 小弟也算是半路出家 K 這些資料, 不確定到底哪種描述 + 實驗方式比較正確 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.135.132.139 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1579446250.A.34C.html
andrew43: 題外話,我對第二段第2點的內容覺得怪怪的。怎麼叫一致? 01/19 23:11
andrew43: 回到話題。我猜你的問題核心在於離群值嚴不嚴重。 01/19 23:13
andrew43: 但這要等到收完資料才看得出來。 01/19 23:14
sifmelcara: 你需要的可能是Kolmogorov-Smirnov test來比較分佈, 01/19 23:16
sifmelcara: 而不是用平均數或中位數 01/19 23:16
bruce3557: 檢測一致的指標也是我們在討論的重點之一 01/19 23:21
bruce3557: 現在的點比較像是如果想要比較總體時長,這樣採樣的點 01/19 23:22
bruce3557: 應該要是個人的點還是一個 aggregate 過的結果當一個點 01/19 23:22
bruce3557: 現在使用2提出來的檢驗法應該是 Mann-Whitney U test 01/19 23:25
andrew43: 小心挑選樣本的方式。我沒看懂這部分,但這最重要。 01/20 08:13
bruce3557: 挑選樣本的方式應該要 align metric 或是個人的某項數 01/20 12:41
bruce3557: 值比較合理 @@? 01/20 12:41
andrew43: 我也不知道。我也不懂你如何挑,但看起來似乎挑很大, 01/20 12:52
andrew43: 謹慎。 01/20 12:52
bruce3557: hmm 我再想一下..謝謝! 01/20 23:46
yhliu: 不懂你們所要的以及你們所做的. 我有上網查了所謂 A/B test 01/21 05:15
yhliu: 是指什麼, 似乎是在比較兩種東西的效果, 例如兩個廣告用語 01/21 05:18
yhliu: 何者較有效.實驗方法是隨機選取兩組人分別提示 A 或 B 事物 01/21 05:22
yhliu: 據以評估二者的效果何者較佳. 例如廣告詞實驗分別寄發電子 01/21 05:24
yhliu: 郵件提示兩種廣告詞之一並告知對方採用某一優惠代碼. 01/21 05:26
yhliu: 你說耍觀察的是使用時長,"對他們過去幾天的使用時長做檢測" 01/21 05:27
yhliu: 我不懂是什麼的使用時長? 以經驗使用時長來評選樣本又是怎 01/21 05:29
yhliu: 麼回事? 在我想來, A/B test 就是兩樣本隨機實驗, 兩組樣本 01/21 05:31
yhliu: 應是在某個群體中隨機選取的, 而你要給兩組樣本不同的處理, 01/21 05:33
yhliu: 如廣告詞一例中提示不同廣告詞並給予不同優惠代碼, 然後觀 01/21 05:35
yhliu: 測其反應以評佔哪種 "處理" 較好. 如果是 "經驗使用時長" 01/21 05:37
yhliu: 可能影響實驗效果 (經驗使用時長與A/B實驗的 "使用時長" 究 01/21 05:40
yhliu: 竟是什麼東西?) 有兩種方式, 一是不採用兩獨立樣本而採配對 01/21 05:41
yhliu: 樣本; 二是維持原隨機樣本, 即使抽出後發現兩組樣本使用經 01/21 05:43
yhliu: 驗有明顥差異, 但在分析方法上不採用單純的平均數比較、中 01/21 05:45
yhliu: 位數比較, 或分布函數比較, 而是採用按使用經驗分組後比較 01/21 05:46
yhliu: 同組 A/B 之差異, 或用使用經驗當調整項, 例如 ANCOVA 或 01/21 05:48
yhliu: 分別對接受 A/B 處理者建立反應模式(例如實驗之使用時長對 01/21 05:49
yhliu: 經驗使用時常及其他變項的j歸模式, 而後比較接受A處理和接 01/21 05:52
yhliu: 受B處理者所建立的模式的差異. 01/21 05:53