Re: [請益] bug「可遇不可求」，各位還會去debug它嗎?

[OnlyRD (里巷人)]

1、crash的bug
2、10%機率

放在任何公司都沒有人認為這叫機率不高

10%基本上一定有解
10%當機很規律好嗎？XD

分享一下過去遇到發生機率低於1%的bug怎麼解
其實不要死腦筋認為找到root cause才是解

1、寫自動測試程式開始壓力測試
把1%機率以下的bug無限逼近於0%
逼近0.0001%都可以
在品管上證明其機率極低
將實驗與證明資料上傳
標註請眾人檢視
沒有異議就擱置bug
一定時間後關閉

2、開始夾版本

安排測試計畫
用自動化程式測試開始夾版本
如果幸運夾出版本
開始夾commit
commit夾出來找作者除錯
先發patch出hotfix
再繼續壓測證明問題消失
如果夾不出版本
很可能問題出現在特殊輸入輸出
或者特定硬體環境
或者特定干擾、硬體老化等等
把夾版本實驗資料上傳
說明前因後果叫大家審查
然後擱置bug
一段時間後無發生關閉

很多工程師都很小看QA
沒寫過測試計畫
也沒有test case
對軟體品質完全不關心不上眼

10%還crash
竟然說考慮直接忽略
加油啊


※ 引述《freebug (Freebug)》之銘言：
: 最近開發一個通訊軟體
: 有個閃退的bug自從上週被發現到之後就再也沒被觀察到
: 也就是這個bug的出現沒有規律性，只能靠碰運氣
: 出現機率也不高 (出現機率不到10%)
: 這也是我對這個bug感到煩惱的地方
: 如果各位遇到這樣性質的bug
: 你會怎麼去處理?
: 會去盡可能的鑽研，並且製造出這bug出現的可能嗎
: 還是會選擇直接忽略?

-----
Sent from MeowPtt on my iPhone


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.140.126.90 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1654004036.A.DE1.html
推 chuegou: 想到關於第二點前陣子也有一串討論
噓 final01: 1%還是很高好嗎...難道你的產品不到100個人用嗎
→ ou9810: crash是非常嚴重的bug，就算只有0.01%還是不應該被忽略
推 viper9709: 推這篇專業
→ OnlyRD: 2F 實務經驗上，你一開始收到這種bug，人是無法知
→ OnlyRD: 道他是1%還是百
→ OnlyRD: 萬分之一，難不成你很神可以一眼看穿1%以下的準確
→ OnlyRD: 機率？沒有第一
→ OnlyRD: 項的實驗，你怎麼知道實際上是幾趴？第一項認真看
→ OnlyRD: 一下再回文好嗎
→ OnlyRD: ？而且大多數issue回報系統，也不會設定1%以下的條
→ OnlyRD: 件，QA手測誰
→ OnlyRD: 會用人肉逼近1%以下啊？你講這話我真的不覺得你有
→ OnlyRD: 工作過收過這類
→ OnlyRD: 問題XD
推 XJY13: crash 嚴重某方面來說也好抓問題 況且10%
→ Wishmaster: 可用性SLO 90%
→ Wishmaster: XDDDDDD