Re: [技術] 從AV-Comparative看統計數字可以怎麼利用

[sniffer (again)]

※ 引述《iincho (世界的盡頭)》之銘言：
: ※ 引述《sniffer (again)》之銘言：
: : 很多人提到掃毒評比, 都會說 AV-Comparatives 很公正,
: : 首先請看 AV-Comparatives 網頁, 介紹 "sample":
: : www.av-comparatives.org/seiten/ergebnisse/methodology.pdf
: : 講了一堆他們很努力確保公正, 但是有幾個重點沒有:
: : 1. vendor sample 比率, 以 nda 之名隱藏
: : 2. 如何斷定這個 sample 是 malware
:   這個看法嚴格來說是對的，這些測試都有這些問題沒錯。
:   但是，問題來了，這個測試不公正 -> 防毒軟體沒有用?
:   這是什麼邏輯? 也太跳tone了吧。

這當然跟防毒軟體有沒有用有關, 首先報告裡的偵測率就是大灌水,
N=0.99 跟 N=0.90 的 N^10 就差很多了, 只要 detection rate 低一點點,
防毒軟體實用性就低很多, 所以廠商才要不遺餘力灌水

:   實際上業內做過的都知道每家的防毒評比可能對某些vendor有利，
:   但是可能影響到的多半是八十分到一百分這段，因為這個原因
:   說人家一定會考零分只會笑掉人家大牙而已。
:   不過2.其實很簡單，弄個honeypot丟進去跑一跑大部分都知道，
:   只是搞測試的不一定有時間這樣搞。但是說真的，大部分的測試
:   Sample分類也沒有你講的這麼不堪，基本品質還是有的。

1. honeypot 只能抓到隨機亂發的東西, 能比較確定是毒的只有有附檔的,
廣告也說不定有附檔, 哪裡不用分析
2. vendor sample 分析當然有 "QA", 因為一定是自己抓得到的才會給出去,
他越有 "QA", 結果越灌水

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 122.116.218.88
→ ihon822:請提供防毒軟體抓不到的病毒sample
→ ihon822:只要提供4萬個就可以證明dr是從90%灌到99%喔 ^.<
數學不佳, 臉皮一流, 如果拿出40000sample, 加上原來40000,
detection rate 全部低於50%, 這麼簡單都算錯
※ 編輯: sniffer         來自: 122.116.218.88       (05/06 13:46)
這樣好了, 我提供大家賺錢的途徑, 既然認為抓不到的很少, 不知道哪家
掃毒公司敢花錢徵求掃不到的, 一隻1000就好, 光用產生器就可以讓他破產,
或者版上有人要來對拼, 一人拿10萬出來, 我寫個毒, 為了公正,
先給你檔案F的 SHA2(F+random), 一個月後才給檔案跟原來的random,
一個月後隨便你拿掃毒來掃, 抓得到你得10萬, 抓不到我得10萬, 我當成賺零用錢,
6位數以下我不感興趣, 看看所謂proactive是不是放屁
※ 編輯: sniffer         來自: 122.116.218.88       (05/06 13:56)
→ ihon822:原本的sample是40萬 到底有沒有看報告啊
→ ihon822:連報告都看不懂還能在這裡扯
→ ihon822:該不會是說你找不到40萬在哪吧
記錯數字了, 有差嗎, 寫一隻抓不到的, 加上 random 要變成多少隻都可以,
就算你要100萬隻也可以, 現在電腦這麼快
→ ihon822:給不出病毒檔就說 把病毒偵測當成比對hash真是笑話
密碼學沒學好, 或者你怕我是國安局, 可以一個月內讓sha2 collision?
這只是證明這個檔案一個月前就寫好了
→ abilitylife:你都用嘴巴讓防毒軟體公司破產的?如果你真的做的到那
→ abilitylife:防毒軟體公司早就給你八位數了
→ abilitylife:只會在板上撂狠話的臉皮就比較薄?
你這麼信賴防毒, 那要不要賺一下, 還是只能用嘴說?
→ meteor260:我建議你們放棄, 夏蟲不可語冰zz
→ zvn:另外，有QA就有可能灌水的邏輯是啥？能解釋一下嗎...XD
QA 當然就是掃毒廠商確定掃得到的 sample, 才放出去, 免得打自己,
所以vendor sample完全不該用於評比
→ Lordaeron:自己寫的毒, 你要防毒掃得到? 會不會想太多
→ Lordaeron:kaho 就是一個實例, 防毒未能消, 自己手動消.
對呀, 所以用凍結三個月不更新, 當作未知偵測的benchmark無意義,
時間跟掃到未知病毒的機率無關, 沒看過的永遠抓不到
→ zvn:給樓上，我覺得原po本身很care防毒軟體不可能掃得到所有毒的這
→ zvn:個點。我想說再多也沒用.....
→ ppaass:我也覺得防毒軟體QA自家產品後拿給別人測為啥叫灌水?很奇怪
→ zvn:另外，S大你應該要先放random出來吧？ o.0a 不然給file的hash
→ zvn:就夠了，不用加random
當然要加random, 不然掃毒直接比對hash就好, 你當別人跟你一樣無知
→ abilitylife:他覺得病毒只要放病毒的SHA出去就會動了啦~
→ Lordaeron:每愛天天進醫院(灌防毒)也是不錯的, 反正你愛就好.
→ Lordaeron:但你要強調防毒如何強, 就不必了, 因為你提得出防毒多
→ Lordaeron:有效, 很更容易及更多例子說明, 灌個防毒只是讓你安心
→ Lordaeron:要說數據, 支持者是提不上來的, 但要說者恆信, 倒是可以
→ iincho:產生器? 你是真的覺得那種自動產生的抓不倒是不是....
來呀,多說無益,要不要簽個約賺錢,很簡單驗證,10萬又不多,哪個上班的拿不出來?
→ iincho:實際上這些軟體的運作方式可能比你想的更精密一些...
→ iincho:說自己寫的毒防毒掃不到的更是笑話，功力不夠的一樣被抓包
※ 編輯: sniffer         來自: 122.116.218.88       (05/06 16:53)
→ ihon822:未知病毒偵測是靠病毒特徵和病毒行為好嗎
→ zvn:我是說你的方法要公布random，不公布random的話random等於沒
→ zvn:加，因為你可以先寫完毒再配一個碼去湊hash...誰在跟你掃不掃
→ zvn:得到XDDD 另外是你要測pattern掃毒的話，正確做法是你先做一隻
→ zvn:別人掃不到的毒出來，然後給防毒軟體公司去抽pattern，接著你
→ zvn:寫出10萬隻變種毒，看看防毒是否真可以不靠feedback當場抓出來
→ zvn: 你這麼寫只是讓人知道你不懂防毒軟體的運作而已啊 囧...
→ zvn: 另外，廠商用第一段那種連續中毒幾次機率降低來做廣告，我覺
→ zvn:得這才是真正的愚民。因為這和實際使用的case是不同的
→ zvn:你怕a廠在測試報告灌水，那就看b廠對a廠做的測試報告就可以安
→ zvn:心點，最少競爭對手沒幫別人灌水的必要 當然老話一句，數據只
→ zvn:是參考用，你得了解防毒軟體的運作，才知道他有沒有用
→ zvn:另外是，掃毒廠真的要提供sample的話，本來就只能提供確定是毒
→ zvn:的sample，難不成每個使用者feedback確定沒毒的都要當sample?
→ zvn:像是真的拆了三十幾層packer後發現只是張貓的相片 這當然不是
→ zvn:毒？這明顯不可能啊||||
→ zvn:我上面打錯，是說那張照片不是毒，所以不可能給別人當virus
→ zvn:sample 我想這很合理啊XDDD
→ zvn:最後,單純用sha1當pattern,誤判率會很高 不會有人這麼做 放心
推 asimon:到底要講幾次 惡意程式不一定要附檔 有種東西叫XSS
→ asimon:而且worm本來就是隨機尋找有脆弱點的主機攻擊..
→ asimon:到底要跳tone幾次阿.. 回到不想回了..
→ asimon:另外 請提出 ^10 的理論根據, 那我說高達八成好了..
推 asimon:另外mime信件也都可以藏惡意程式碼..
→ TonyQ:這篇推文蠻不錯的
→ askeing:插個話，XSS攻擊算惡意攻擊的一種，不過算惡意程式嗎？
→ askeing:不過我覺得有人還是覺得那不算什麼，反正資安都騙錢 XD
→ zvn:我覺得 得先知道有XSS這個東西 才能判斷XSS算不算“什麼”XDD
推 asimon:透過XSS取得的程式總叫惡意程式吧? XD?
→ asimon:"XSS"本身和終端用戶似乎關係並不大, 不過好好利用搭配一下
→ asimon:很好用的~!!! ((燦笑
→ asimon:我提XSS主要是 他可以很輕易讓信件再不附檔的前提下讓用戶
→ asimon:取得並執行奇怪的程式..!
→ zvn:其實也不用收什麼信 你電腦擺著接上網路別人就能開始打了XD
推 asimon:他會說那不是病毒 是肉雞 xD! 最速中講傳說..
→ asimon:win2000 沒update沒service pack拿public ip,
→ asimon:5分鐘內就會開始倒數讀秒重開機 xD!
→ asimon:                                中獎
→ askeing:說到這個，就覺得ActiveX設計很怪…跳出來要你裝
→ askeing:不裝看不到東西，裝下去又不知道會被裝啥…
→ askeing:一般使用者看到上面跳出來要裝，通常就直接點安裝了
→ askeing:感覺這東西也很危險 O_O?
→ asimon:標準的M$思維阿 xDa 所有的安全警示都這樣..!
→ asimon:不點yes就不能用.. xDa
→ asimon:點了 中獎 你家的事!
→ asimon:最保險的方法... VMware~! 至少我都這樣玩啦 .__.a
→ askeing:但感覺以後會有越來越多針對Hypervisor的惡意程式
→ askeing:目前應該已經有不少程式可做到發現自己在VM中就裝乖 :P
推 asimon:沒錯 xDa 不過偵測自己在vm裡面似乎比惡搞vm簡單多了!
→ zvn:對 有virus可以做到在vm裡就裝乖XD
→ asimon:其實也蠻好奇惡意程式會怎摸玩的 .__.!
→ zvn:還有偵測virus pattern version或是一堆有的沒的
→ asimon:話說我們vmware的第一個用途通常都是執行vmware的keygen xD
→ zvn:惡意程式很多的啦......攻擊比防守要簡單很多 XDDD
→ asimon:                               有趣很多 XDDD