看板 Soft_Job 關於我們 聯絡資訊
※ 引述《freebug (Freebug)》之銘言: : 最近開發一個通訊軟體 : 有個閃退的bug自從上週被發現到之後就再也沒被觀察到 : 也就是這個bug的出現沒有規律性,只能靠碰運氣 : 出現機率也不高 (出現機率不到10%) : 這也是我對這個bug感到煩惱的地方 : 如果各位遇到這樣性質的bug : 你會怎麼去處理? : 會去盡可能的鑽研,並且製造出這bug出現的可能嗎 : 還是會選擇直接忽略? 如果沒有寫自動化測試,那10%的確感覺很低。搞幾個小時可能才重現一兩次。 建議test case寫好寫滿,刷個一萬次,應該就有足夠錯誤記錄讓你解決問題了。 寫自動化測試真的很重要。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 210.242.25.45 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1654145698.A.12E.html
samchung: 如果跑多次的結果會不相同,我不覺得這是一個好的測試@@ 06/02 19:30
brucetu: 被測code有race condition就有可能跑多次結果不同啊 06/02 20:59
brucetu: 或者是錯誤跟data有關 06/02 21:00
brucetu: 看過一篇微軟工程師找到特定影片 特定碼率才會出的bug 06/02 21:00
brucetu: 最後是一個很低能的錯誤 是測資很難想到的case 06/02 21:01
brucetu: 靠大量提出各種假設 逐一驗證 最後才找到原因 06/02 21:02
wulouise: flaky test is inevitable.. Even google has some 06/06 20:17