Re: [新聞] 外媒質疑DXOMark的評分機制，一個付錢分

[ceaserman (神采飛揚)]

我個人認為這篇文章把很多概念全部拉在一起講，反而讓主題混亂。

甚至有點先射箭後畫靶了。


裡面講到的幾個論點：

1. DXO 分數是不是跟付費與否成正比？

簡單檢視：

有付費一定高分 ？  沒付錢一定低分 ？

以目前各家測試結果而言，顯然沒有一定的相關性的。

2. DXO 測項是否足夠全面？

無疑不夠全面，比如說變焦與夜間拍攝測試很久到最近才加上。

但有其他機構測項比 DXO 更全面的嗎 ？        似乎是沒有。

那 DXO 的測試結果當然具有參考性。

3. DXO 測試標準對各廠商是否一致？

這個項目文章中有點東拉西扯了

裡面把兩個概念拿來混著講：

1. 測項測試標準一致性問題：

在同一個測項中，比如曝光，廠商付費與否會有不一樣的「測試標準」嗎 ？

我想是沒有，如果雙標情況，早就被噴爆了。

2. DXO 測試的產品，是否有先經過針對 DXO 測試標準優化過的？

以第一點的「測試標準」來說，應該會是一樣的。

因為各項數據其實都有科學上嚴格的定義。

以曝光來說，相機曝光只認「黑」跟「白」，與顏色無關。

正確曝光值定義在 18％ 灰度的參數值，曝光中心點一律會準在這點。

相機演算法對 18％ 灰度的偏差就是曝光值的偏差，這是有嚴格定義的。


真正有問題的在第二點：拿針對測試標準優化過的機型來測是否算作弊 ？

這其實有點偷換概念。

這有點像是你質疑一個在考前寫過考古題，知道出題方向的考生作弊一樣。

又或是

在考前老師已經說了某幾題會考，A 就是不去看，而 B 寫完也背好答案了。

考試時 B 全對，A 對錯各半，這時候你說 B 作弊一樣。


以此來質疑「公平性」，難道不覺得哪邊怪怪的嗎 ？

最重要的一點是：

至今仍沒有證據顯示 DXO 有針對付費客戶給予特殊優化或諮詢，而這個優化會直接影響

測試標準的適用性。

比如 DXO 曝光度測試標準除了黑、白，還另外加上了黃，但卻沒有告訴未付費廠商。

又或者 DXO 有跟付費廠商說測項有白平衡，但卻沒跟未付費廠商說。

這個才會有問題。


但目前沒有證據顯示 DXO 在測試標準上對於客戶付費與否有不一樣的標準。

所有的推論僅僅在於 DXOMark 背後的 DXO Labs 是諮詢公司這一點而已。


就算 DXO Labs 真的有提供客戶優化指導，只要測項跟標準一致，為何就不客觀不公平了？


4. DXO 分數絕對值是否真實代表相機水準？

因為測項的不全面，看絕對值應該是無法客觀的。

這在於測項的不全面，是沒測到，而與是否優化無關，因為標準就擺在那裡。

5. DXO 分數相對值是否可以代表各廠相機相對水準？

測項雖不是完全全面，但只要各家測試的「測項」與「標準」一致。

那相對值就應該有參考性。

6. DXO 有沒有為特定廠商帶風向？

以文章所述：

「DXO 的業務都是來自這些大公司，而這對他們的評論就會有很多影響，像是必須鼓勵消
費者購買某些特定手機，而不是其他。當然，目前沒有任何證據證明有這狀況。」


所以以全文來看，其實作者就是先以 DXO Labs 提供各廠商諮詢這一點，
來質疑 DXOMark 不具客觀公平性。

但測試的客觀性與公平性，在於測項與標準是否一致。

若無法證明「測項」與「標準」對廠商付費與否有雙標，那就不能推論公平性問題。


--
願你走出半生，歸來仍是少年。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.133.4.201 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1574002857.A.366.html
推 qaz13579    : 我覺得有些部分真的沒辦法用數據而是主觀認定那不管
→ qaz13579    : 怎樣付費的廠商多少都有優勢
推 banbanzon   : ←看dxo分數買fz1000回來幹死的人
推 banbanzon   : 打個比方 假如影響相機表現有ABCDEFG七個面相 dxo只
→ banbanzon   : 取其中ABCDE五個面相做評測 另外兩個放生 結果消費
推 semicoma    : 簡單講就是DXO的評分不直接等於人眼覺得好看 所以我
→ banbanzon   : 者買回來才發現另外兩個面相很重要 那dxo只用五個
→ banbanzon   : 面相做評測推薦是否有足夠的代表性?
這個就是我講的第二點：是否足夠全面。

以目前來看明顯是不夠的，但無奈的是我們可能也很難找到全部面向都測到的機構。

那只能取測到最多面向的機構的數據了。

→ semicoma    : 覺得問題是在這個評分機制的缺陷 而不是在手機廠或
→ semicoma    : 相機廠或鏡頭廠
推 semicoma    : 另外想請問 送去評分的和實際銷售的同款手機 在演算
→ semicoma    : 法上是完全一樣嗎? 有沒有送測手機針對DXO標準調整
→ semicoma    : 而實際販售的手機較貼近一般大眾審美的情形?
你講的這點其實是個值得討論的問題。

著名的例子就是小米。

小米送測的軟體版本跟實際面向消費者的版本不同，所以導致消費者使用體驗跟 DXO 評測
結果有差異。

但這指代表了：DXO 評測結果不能完全代表消費者端的實際體驗。

但這並不能代表 DXO 評測「不公平」或「不客觀」。

推 good5755    : 你的第一點論述就錯了
→ good5755    : 你怎麼知道哪些手機廠有諮詢過DXO
說有諮詢的是板上鄉民跟文章，而不是我。

→ good5755    : 取樣錯誤 後面推論根本不可信
→ good5755    : 而且你的推論也很多都是你認為
我只是有多少資料說多少話，沒有資訊的我都當沒有。

→ good5755    : 你手上也沒有DXO的評分標準 所以沒有證據佐證
→ good5755    : 整篇都是廢話
我說沒證據對方有作弊，就不能說對方作弊。

而你是先說對方作弊，要對方證明沒作弊。

你覺得對？

你要不要先證明他們作弊，不然也是廢話。
推 ixxxx5566   : 怎麼會是DXO出來佐證自己準？要推翻DXO複測重現不就
→ ixxxx5566   : 好了，測試樣張都有公布呀
噓 sam355322   : 整篇都沒有依據啊
因為原文就沒有證據阿。

說沒證據的，你們要不要先提出 DXO 有作弊、不公平、不客觀的證據 ？

推 tom282f3    : DXO有給測試樣張 但沒有說分數是怎麼出來的啊
→ ixxxx5566   : 按照DXO的標準同個版本重拍一次，不就可以打臉了，
→ ixxxx5566   : 可是沒人要做，還是沒人可以打臉所以沒人放出結果？
推 good5755    : dxo自己就打臉自己了 標準每年都變
→ good5755    : 之前版友有把以前nokia的照片來比對 明顯以前好
偷換概念。

只要同一年度的標準對各家相同，你就不能說他不客觀不公正。

推 SRNOB       : 有收錢 人家懷疑很合理阿
※ 編輯: ceaserman (220.133.4.201 臺灣), 11/17/2019 23:55:17
→ good5755    : 但是分數差很多 因為要比較硬體分數
→ gn01140216  : 標準就DXO想改就改啊
推 tom282f3    : 所以每年標準都不一樣是可以的喔
→ tom282f3    : 所以去年分數跟今年分數不能拿來比較嗎
推 good5755    : 但是你知道DXO並不會因為改標準就重測所有的手機嗎
推 SRNOB       : 如果開放法官付費諮詢服務 誰不會懷疑公平性
→ good5755    : 網站上還是放舊的分數 造成消費者以為以前手機很爛
→ good5755    : 這就是DXO的雙重標準 要說有問題也是DXO的問題
→ Xperia      : 你對dxo還真寬容
→ lukesfather : 其實DXO讓我比較不懂的是測手機人像模式虛化的標準
→ lukesfather : ，除了邊緣是否準確，成像虛化的好壞、自然度這些
→ lukesfather : 方面很難客觀吧？
推 good5755    : 最直接的證據就是小米9
推 ddt73930    : 其實今天會被拿出來討論很簡單 就只是中國手機相機
→ ddt73930    : 強大家不爽而已
→ good5755    : 不是 是自從小米9分數爆高 然後實機出來被所有人
→ good5755    : 嫌 連中國人都不挺米9 然後DXO就越多人質疑
推 paul40807   : 他常常更新標準之後近幾隻手機會重測 我應該有算標
→ paul40807   : 準統一
噓 cleverlomb  : 他本身業務有兩重身份 光這點就值得合理質疑好嗎
→ cleverlomb  : 還什麼沒證據不能質疑 這種基本的business acumen
→ cleverlomb  : 還要有什麼證據？
→ cleverlomb  : 那些大公司財報出問題怎麼被抓到的 帳面一切都合理
→ cleverlomb  : 啊
→ cleverlomb  : 看看安然公司 就是因為實質子公司的存在 才被懷疑
→ cleverlomb  :  最後抓出來
→ cleverlomb  : 如果只會說沒證據=沒有 我只能說你的視野還是太侷
→ cleverlomb  : 限
推 peng198968  : 更新標準過去測的就會重測的話，以XZ3的79分當標準
→ peng198968  : 來測XZP，XZP可能只有70分吧？
推 minipopy0314: 阿就討喜修很大佔優勢啊 垃圾修圖相機
推 imsphzzz    : 版上索粉才不管，只要小米手機贏就是作弊！
推 semicoma    : @ddt你說錯了 這邊都在講小米 如果照你講的 那應該
→ semicoma    : 華為會被拿出來鞭
→ semicoma    : 另外 我覺得DXO已經變成類似紅點的情況了 付費了解
→ semicoma    : 得獎方向 另外 如果小米送測版本和實際銷售版本不同
→ semicoma    : 那這問題就會在小米這端 不過這跟DXO本身測試機制有
→ semicoma    : 沒有缺陷是兩回事就是了
→ semicoma    : 說到紅點設計獎 印象中也是小米開始玩這招
推 BruceX      : 推
推 a21554099   : 推，先有有力且確切的證據再說人家怎樣，不是說你
→ a21554099   : 怎樣之後然後叫人家拿證據證明自己清白。
推 KevinYu0504 : 推這篇。
噓 ctes940008  : 你這篇發到單眼板可能會被噴到爆炸。
推 steve1012   : 懷疑先拿證據吧 沒證據跟名嘴差不多等級
推 BBKOX       : 哈哈 樓上好鬧 XDD
噓 flybow      : 你有聽過什麼叫利益迴避嗎，最好是可以加入一個有
→ flybow      : 沒有付錢諮詢的指標，大家可以參考參考
推 mypigbaby   : 好像律師辯論文..清楚有條理
推 densen      : 推這篇文章
推 trw10208    : 推這篇
噓 juicedrink  : 有付費諮詢就是瓜田李下，這很難懂嗎？
推 hygen       : 推，真正公道話，原來的文章已經過度影射了
推 tsming      : 送測版跟市售版不同已經夠嚴重了吧，這等於虛假宣傳
→ tsming      : 啊？
這的確是個嚴重的問題也涉及到廠商誠信。

但主詞是小米，而不是 DXO。
是小米利用 DXO 騙人，而不是 DXO 造假。
※ 編輯: ceaserman (114.137.91.57 臺灣), 11/18/2019 09:56:14
噓 mauve       : 目前看到證據明顯的應該是小米錄影方面分數爆高原因
→ mauve       : 是DxO用預設畫質(4k)測試，這很顯然就是DxO本身評分
→ mauve       : 機制的缺陷啊。送測相機版本不同？那我比較想請問的
→ mauve       : 是原PO到底對「送測版本」跟「發行本版」間有算法差
→ mauve       : 異的資訊掌握了多少？這些都說不準請問如何「造假」
→ mauve       : ？
→ gn01140216  : 所以11/1以後怕蘋果分數太低 錄影採用最佳畫質嚕
推 ixxxx5566   : 送測版本不同DXO都會明講好嘛，小米有講三星有講華
→ ixxxx5566   : 為也有講，要作弊講出來幹嘛？http://i.imgur.com/X
→ ixxxx5566   : DxOTk8.jpg
→ ixxxx5566   : http://i.imgur.com/NUYrjlS.jpg
→ ixxxx5566   : 而且小米在2天內就發表更新了，反而是華為直接送測
→ ixxxx5566   : 不同版本號
推 ixxxx5566   : 哪個機構會把預設4k，A B版本號講出來？
→ ixxxx5566   : DXO已經做到盡量客觀了，廠商要作弊干DXO什麼事
噓 CJhang      : 送測分數跟使用者樣張評比 倒過來 本來就會讓DxO的
→ CJhang      : 信用打上問號 還不包括 是否自主送測 消費者連為什
→ CJhang      : 麼上市前有分數 有的手機都上市多久了 突然公布分數
→ CJhang      :  選機標準 發佈標準 是有在DxO內部經歷什麼流程都不
→ CJhang      : 知道 你就放心 真的放心佛心公司 就是慈悲的做公益?
推 good5755    : 這篇要是當作論文早就被噴爆了
推 good5755    : 很簡單 以長焦和廣角為例 廠商只要知道DXO這兩項
→ good5755    : 分數的比重 就可以買比較好的感光衝分數
→ good5755    : 而這種評分標準並不會對外公佈 所以才被人質疑
→ good5755    : 是否只有諮詢的廠商才知道評分標準
→ good5755    : 而像google努力衝夜拍技術的廠商
→ good5755    : 因為沒有權重反而分數低 這就是只有DXO的盲點
→ good5755    : 所以標準都是DXO制定 現在的手機鏡頭越來越多
→ good5755    : DXO的評分標準也是原因之一
噓 maxian30201 : 這篇讚喔 邏輯好棒呢
噓 flybow      : 如什麼都要實證有無雙標 利益迴避制度就可以廢掉了
→ flybow      : 就算真的要評 也應該是沒付錢的放一區 有付的另一區
推 ixxxx5566   : 利益迴避？哪一間自媒體或機構沒拿過手機廠的媒體機
→ ixxxx5566   : 的？以後我都看那一家
→ commandoEX  : 拿錢評測就業配啊，沒拿錢評測還有可能有中立性
噓 qq251988    : 寫過論文嗎？自己觀點本來主張要客觀
→ qq251988    : 卻在文中用到 我想... 你不覺得很好笑嗎
→ qq251988    : 更何況在商業世界中 不是沒有證據就不能合理質疑
→ qq251988    : 更多的case都是因為合理質疑 才有後續的真相
→ qq251988    : 那個這篇原文的稿子 哪一點不是合理質疑？
噓 y477646     : iPhone生出什麼功能它就加進評測，反過來不測，呵
噓 flybow      : 「只要同一年度的標準對各家相同....
→ flybow      : ，你就不能說他不客觀不公正。」 這句話我認為很有
→ flybow      : 值得商榷的地方 確實不會雙標 因為把標準直接改掉呀
推 farnorth    : 簡單說，看分數買手機，你會買到全部旗艦夜拍最爛的
→ farnorth    : 小米9
噓 mauve       : 樓上倒是修張比較圖來看看啊