Re: [新聞] 外媒稱聯發科 SoC 效能分數造假，官方否

[egnaro123 (原po是大叔)]

techbang也有報導

https://tinyurl.com/yakqh2f3

然而UL卻駁斥這份聲明，表示MediaTek提到的「業界公認標準」是誤導性聲明（
Misleading Claim），實際上它們的做為正好與公認標準相反。

UL指出裝置必需套用與執行其他App一樣的基準，進行PCMark for Android效能測試，如
果需要最佳化效能表現，也需基於運算負載做出反應，而不是單純辨識App的名稱。


這任何一點發哥那有錯?有犯法嗎?有違反標示不實嗎?

用程式名稱跑另種模式讓也有問題?

那N家的O技術要不要拿出來說嘴,大家通通用整合顯卡好了

又不是比如像IC廠規格支援硬體功能,結果偷偷在driver用軟體幫cpu熱身,

也不是像系統廠要給媒體評測時用不同於產線規則特別調過的硬體,

像這類才有標示不實的違法問題,

發哥這種那一點犯法了?真是莫名奇妙,在台灣發哥算是集合台灣最強軟硬體人才了,

在國家科專計畫等合作財團法人帶領之下,一直都是國際一流公司,

真不懂這網站的論點






※ 引述《wahaha23 (請勿拍打餵食)》之銘言：
: 外媒稱聯發科 SoC 效能分數造假，官方否認但反駁又來了
: TechNews
: https://technews.tw/2020/04/10/mobile-benchmark-cheating/
: 現在的手機跑分，是否真的不能信。手機廠商、晶片廠商越來越追求晶片的跑分數值，
: Benchmark（基準性能測試）逐漸成為衡量裝置性能的重要標準。
: 但在一味追求分值的同時，廠商們也逐漸深陷「分值禁錮」之中，近期的聯發科，就是如
: 此。
: 聯發科晶片 Benchmark 造假
: 事情的開始，要從 OPPO Reno3 說起。
: 外媒 Anandtech 發現，搭載 P95 CPU 的歐洲版 OPPO Reno3 Pro 的跑分數值比搭載性能
: 更強大的最新 Dimensity 1000L CPU 的國行版 Reno3 的高，這引起 Anandtech 的質疑
: 。
: OB由此，Anandtech 分別使用匿名版（可幫助分值作弊）和常規版的 PCMark 對 MediaTek
: P95 CPU 進行跑分。
: https://is.gd/mkdGeX
: （Source：Anandtech，下同）
: 結果顯示，P95 CPU 的真實總分比匿名版得分低 30%；在寫入負載方面，兩者得分的差異
: 甚至達到 75%。
: 同時，Anandtech 指出，透過對 OPPO Reno3 Pro 進行測試，結果表明並非是 OPPO
: Reno3 Pro 導致的跑分差異。也就是說，造成跑分差異的根源在於聯發科晶片。
: 為了證明這個結論，Anandtech 對 Reno3 搭載的聯發科晶片做進一步調查。結果發現，
: 在手機的韌體（/vendor/etc 文件夾）中，包含一個「power_whitelist_cfg.xml」文件
: 。
: 該文件中存在一個涵蓋各種基準測試的列表，包括 GeekBench、AnTuTu、3 dbench,、
: PCMark、魯大師、AndroBench2 等。不僅如此，列表中還新增了人工智慧基準測試，包括
:  Master Lu AIBench、ZTH AI 。
: https://is.gd/lFliCZ
: ▲ Reno3 Pro「運動模式」基準白名單部分截圖。
: 在這其中，Anandtech 找到了 PCMark 的 APK ID，發現 ID 中採用了一些電源管理提示
: ，其中一個共同的提示為「運動模式」。
: 該模式能夠修正 SoC 晶片的一些 DVFS （動態電壓頻率調整）特性，比如始終以最大頻
: 率執行記憶體控制器。另外，在負載跟蹤方面，排程也被更改了設置，在工作負載時
:  CPU 核心的頻率能夠更快地上升，並停留更長時間。
: 不僅如此，其 APK ID 還包含了企業版的 GFXBench，雖然在清單中沒有配置「運動模式
: 」提示，但在使用應用程式是會改為默認的 DVFS、熱力和調度器設置。
: 值得注意的是，「power_whitelist_cfg.xml」文件不僅存在於 OPPO 裝置上，
: Anandtech 還在其他裝置上（搭載聯發科晶片的裝置）發現了類似文件以及幾乎相同的基
: 準清單條目。如表所示（表中缺少 AI 測試，並非完整的基準測試列表）：
: https://is.gd/kHvSfg
: 巧合的是，在 Anandtech 解壓文件之後，OPPO 向手機推送了一個韌體更新，文件中原有
: 的基準列表消失了。Anandtech 認為該文件列表僅是被移動了位置，因為基準測試中依然
: 能夠觸發「運動模式」，從而使性能大大提升。
: 聯發科回應
: 對於 Anandtech 提出的質疑，聯發科方面也給出正面回應。以下為回應聲明：
: 聯發科技遵循公認的行業標準，並且對基準測試準確地代表了我們晶片組的功能充滿信心。
: 在測試和基準測試由我們的晶片組驅動的裝置時，我們與全球裝置製造商緊密合作，但最終
: ，品牌商可以靈活地配置自己認為合適的裝置。許多公司將裝置設計為在進行基準測試時以
: 最高性能執行，以顯示晶片組的全部功能。這揭示了任何給定晶片組的性能能力的最高端。
: 當然，在現實世界中，有許多因素決定晶片組的性能。聯發科技的晶片組旨在優化功耗和性
: 能，以在盡可能延長電池壽命的同時提供最佳的用戶體驗。如果有人正在執行諸如要求苛刻
: 的遊戲之類的計算密集型程式，則該晶片組將智慧地適應計算模式以提供持續的性能。
: 這意味著，隨著晶片組根據出色的用戶體驗所需的功能和性能動態管理 CPU、GPU 和記憶體
: 資源，用戶將從不同的應用程式中看到不同的性能水平。此外，某些品牌在不同地區具有不
: 同類型的模式，因此裝置性能可能會因地區市場需求而異。
: 我們認為，在基準測試中展示晶片組的全部功能與其他公司的做法是一致的，並且可以為消
: 費者提供有關裝置性能的準確資訊。
: 但這個回應遭到 Anandtech 的反駁。Anandtech 認為，聯發科並無回應出問題的本質。
: 其具有欺騙性的 Benchmarks 不僅針對的是與 SoC 相關的跑分軟體（例如 GeekBench、
: GFXBench），而且面向了與用戶體驗相關的跑分軟體，也就是前文提到的 PCMark。
: Anandtech 解釋稱，PCMark 是一個系統基準測試，其分值代表了晶片的工作負載和裝置
: 響應能力。雖然 PCMark 反映的是晶片的性能，但會受 DVFS 和調度程式等軟體和機制的
: 影響；這也印證了前文提及「運動模式」會修正 SoC 晶片的 DVFS 特性，進而影響
:  Benchmarks 分值。
: 另外，Anandtech 指出，PCmark 分值反映的是用戶使用體驗，而不僅是晶片組的性能。
: 也就是說，Anandtech 認為聯發科干涉 PCmark 分值已超出了晶片跑分的範圍。
: 用產品說話，才擲地有聲
: 事實上，在聯發科之前，三星、華為都曾因欺騙 Benchmark 結果陷入輿論中心。
: 2014 年，測試人員發現三星透過添加原始碼在基準測試中作弊，該原始碼能夠檢測基準
: 測試應用程式是否在手機上執行，一旦發現，則以更快的速度（532MHz，正常情況下為
:  480MHz）執行手機。
: 由此，三星遭遇集體訴訟，且該訴訟長達 4 年。2019 年 9 月 30 日，三星敗訴，承認
: 在基準測試中作弊，同意向 Galaxy S4 的購買者支付 10 美元賠償。
: 同樣的事情在華為身上也發生了。Anandtech 發現，華為會在新裝置中配備基準檢測機制
: ，為 SoC 提供了更高的功率限制。最終，在某些白名單應用程式中，裝置的性能會更高
: 。
: 不過，這種做法會帶來一些負面影響，包括消耗電能、降低機組效率、降低電池壽命等。
: 對此，華為表示，僅憑一個單一的基準數字並不能顯示完整體驗。但對於部分項目，進行
: 基準測試是整個行業中被認可的方式，每個公司都在朝著更好的客觀結果而努力。同時，
: 華為消費者 BG 軟體工程部總裁王成錄表示，其他廠商都在進行同樣的測試獲得高分，華
: 為不能保持沉默。
: 不難看出，Benchmark 的高分值正成為晶片製造商追求的目標，也逐漸成為了行業的行銷
: 手段。Benchmark 分值固然能反映裝置的性能，但為了行銷、數值攀比而進行跑分造假不
: 應是業界常態。
: 且不論「你做我也做」追求 Benchmark 高分值的盲目性，就跑分造假這個行徑而言，其
: 分值只能在短時間內獲取用戶體驗的好感度，但從長期視角來看，追求高分值會帶來裝置
: 性能的損耗，這並不是與用戶建立良好關係的正確途徑。
: 正如 AnandTech 在文中提及，更好地與用戶體驗建立聯繫的唯一方式，就是讓每個常規
: 遊戲在標準的功率範圍內執行。也就是說，性能最具說服力的表現不是分值，而是產品本
: 身。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.248.91.125 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1587741579.A.A78.html
→ Iamjkc: 反串？
沒有啊,發哥這方式有違法任何一條國內法令嗎?這網站這樣報導好像很嚴重一樣
※ 編輯: egnaro123 (111.248.91.125 臺灣), 04/24/2020 23:28:53
推 yeay: 沒有違法啊，所以沒有被禁賣之類的。就像先前某些電信業者會
→ yeay: 針對測速網站開放流量，讓測速的數據好看一樣，沒有違法，只
→ yeay: 是讓測速不客觀。而這樣的做法讓評測不客觀，所以人家也只是
→ yeay: 下架評測而已。
推 boss0405: 我覺得高通也有另外的機制來決定要不要進入turbo mode，
→ boss0405: 只是不像發哥那麼直接用white list
推 boss0405: 發哥應該花時間去研究所有跑分軟體的行為，然後再開turb
→ boss0405: o，而不是偷懶用白名單，這樣才不容易被抓到
推 ahlolha: 那個whitelist直接列名稱...不知道是M的鍋還是Oppo的
推 bluemkevin: M 不算第一流的晶片設計公司....
推 hongsiangfu: 發發評論應該也沒違法吧,兩邊都沒違法皆大歡喜(誤
推 taffy128s: 看最後一段真的感覺很像反串
→ tonybin: 高級反串
→ windlll: 我一直覺得這種評測分數很雞肋，你不會讓手機一直全功率?
推 bxxl: 正常來說是要做負載偵測,不過偵測就是會花一點時間,
→ bxxl: 你前面偵測的比別人慢,進入turbo的時間就比別人少,分數不好
→ bxxl: 用whitelist才能跳過偵測階段,直接拉高分數,贏過別人
→ freef1y3: 把app名稱hash一下再比hash過的值就好了 用明碼活該被抓
推 ptta: 反串 這是觀感問題
推 haydou: 網站好像也沒有說發哥違法...
→ haydou: 違反公認標準不代表違法...
推 qowina: 發哥的NeuroPilot什麼時候才要釋出