[技術] 從AV-Comparative看統計數字可以怎麼利用

[sniffer (again)]

很多人提到掃毒評比, 都會說 AV-Comparatives 很公正,
首先請看 AV-Comparatives 網頁, 介紹 "sample":
www.av-comparatives.org/seiten/ergebnisse/methodology.pdf
講了一堆他們很努力確保公正, 但是有幾個重點沒有:
1. vendor sample 比率, 以 nda 之名隱藏
2. 如何斷定這個 sample 是 malware

這就衍生出一個大問題, 如果他們只能用掃毒軟體判斷 sample 是不是 malware,
之後又用來評比掃毒軟體效果, 這不是廢話嗎, 當然至少有一家會抓到

如果他們用人工的, 他們有多少人, 能蒐集分析多少?
所以這樣會導致大多數 sample 來自 vendor, 一樣會球員兼裁判

未知病毒部份, 也一樣, 這種方法未來能抓到的新 "sample",
當然也受這些軟體自己未知病毒偵測能力影響

一個 malware 只要現有掃毒掃不到, 也不會出現在他的數據裡,
所以這些數據當然就很好看

所以當一個東西的樣本, 跟要分析的現象本身就有因果關聯, 這個統計就是沒意義的,
這就相當於: 過生日有益健康, 統計顯示過生日越多次的人越長命

AV-comparative 的公正, 最多只能算對廠商, 對 user 並沒有公正可言

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 122.116.218.88
→ abilitylife:所以您覺得現在開始所有的使用者跟企業都應該立即移除
→ abilitylife:這個沒用的東西，然後中了毒就只有重灌?
→ abilitylife:有效的辨別已知的病毒難道就不重要?
不重要, 因為大家不做考古, 網路來的 email 都是新鮮的,
只要你是小白, 裝掃毒給你的幫助太低, 反而因為 Risk theory,
有錯誤的安全感, 增加危險, 除非掃毒軟體盒子上印公正的一個月不中毒率,
然後一套賣五毛錢, 不然就是詐欺
※ 編輯: sniffer         來自: 122.116.218.88       (05/05 13:16)
→ abilitylife:太棒了~那請您先去說服貴公司的IT把公司的防毒軟體都
→ abilitylife:解除安裝
→ abilitylife:如果今天一個國家打戰一定會輸難到就完全不需要國防?
→ abilitylife:那台灣早就該把國軍解散了
→ abilitylife:也不應該給國民錯誤的安全感
→ abilitylife:而且養軍人應該比防毒軟體貴上不少
→ ppaass:養—隻 sniffer 就夠了，空投匪區用。
推 mathrew:意思是不用買保險了, 反正會撞車的就是會撞車, 砍掉重練比
→ mathrew:較快
→ Lordaeron:我十幾年沒裝過防毒了, 也就這樣子.
→ Lordaeron:防毒基本上是裝心安的, 真的要靠它, 就跟請保全看家一下
→ Lordaeron:是一樣的, 就如當年的kaho 搞多久才有防毒軟體搞定它
→ Lordaeron:你要心安, 是沒有錯, 但重點還是在於預防, 不是在於治療
→ Lordaeron:但台灣人就愛看醫生.
→ Lordaeron:醫院可以像菜市場一熱鬧的國度, 台灣絕對是世界第一
→ jdward:我也不裝防毒 上次裝是有客戶說裝防毒你家的產品有問題耶..
→ jdward:問哪家的? 什麼金山 360 ... 我就只好找台空機器裝起來測..
→ Winggy:原 po 不妨去搞個公正的, 這個有搞頭 會賺大錢喔
→ Lordaeron:這邊沒出社會的人還真不少,搞公正公司,你的頭都不要了
→ zvn:樓上放心 如果是原po搞個“公正”的出來，其實不一定比現在危
→ zvn:險 XDDDDD
→ zvn:另外ptt有個防毒版，裡面剛比過各家掃毒，不然你去評一下那個
→ zvn:報告不公正在哪，然後你做一個公正的出來好了 造福大家~~
我還有更多數據, 看來發一下paper好了, 之前算法都太客氣了,
有因果關係的數字也應該要修正, 掃毒的效果會更接近zero,
打死一個產業很有成就感, 出自 napster 創辦人 :D
→ Lordaeron:你看來也是沒出社會的,公正就會擋到別人財路
→ zvn:樓上不懂我的意思嗎？我的梗是“相對”安全
→ Lordaeron:不懂呢
※ 編輯: sniffer         來自: 123.204.215.193      (05/06 02:08)
→ zvn:快出 記得要show出“公正”的數據 :)
→ zvn:paper出了記得share一下，不然大家預設都覺得你在嘴砲XD
→ ppaass:既然地球這麼危險，sniffer 大您還是快回火星去吧～