[討論] 聊聊JKW測試背後的問題

[square4 (卡哇伊)]

1. 影片連結：https://b23.tv/OHs2LYC
2. 影片標題：芯片功率到底要怎麽測？為什麽跑分要用幾何平均？什麽樣的能效分析有代
表性？聊聊能效分析背後的知識
3. 影片來源(媒體/作者)：LuvLetter(資深知乎果粉)
4. 影片內容：
作者認為GB5不能直接還原日常使用場景，更不用說實際UI渲染並不是簡簡單單的純粹單核
渲染或者小核/大核核心簇渲染，而且JKW完全沒有把GB5吃透，GB5測試本身也有很多不適合
於計算能效測試的地方。
GB5的加密、整數和浮點三大塊是有加權的算術平均，分別占5%、65%、30%，整數、浮點的
分數，由其中每個項目的幾何平均分得出，而每個項目的運行速率(Rate)，在運行多次之後
取平均，對比i3-8100這個1000基準分點，得出這一項的分數。
https://i.imgur.com/z41voZ4.jpg

在JKW去年A15影片里，其Total-AVG-P這一項是直接進行算數平均，違背GB總分加權和幾何
複合的規則，由於這三塊場景能耗不同，權重佔比還倒掛， 這就帶來了系統誤差，作者分
析誤差疊加能到7%，7%夠安卓SOC一代差距了。
https://i.imgur.com/8ZGJ3N4.jpg
[註] 系統誤差：在相同的觀測條件下，系統誤差通常會表現出一定的規律性。系統誤差可
由嚴格標準的操作來控制，也可通過校正儀器來減小誤差。

如果用了幾何平均， 就不能再使用算數平均裡的加減分配/結合律，其功率如果繼續帶入粗
糙的「主機板功率」， 就會進一步引入系統誤差，外加剛才GB加權總分的問題，可謂錯上
加錯。
https://i.imgur.com/lvFrNFQ.jpg
如今的Apple Silicon Mac/iPhone用的都是PMIC供電. 所謂主機板功耗還要經過各種DC-DC/
LDO才會到達指定的IP核區域，底層的思路就是讓PMIC去進行降壓，減少在半導體上過高電
壓帶來的非線性損失。

作者認為應該用GFXBench的VK/Metal，因為不管是Mac，還是新的Android，通過Angle/Molt
enGL之類的API轉換成GL，其實執行底層已經是VK/Metal，如果跑GL其實就在額外考驗CPU。

原來A14峰值功耗6.72W，算起來能耗比分高過A15，到了最近這期視頻，A14就變成8W多，前
後多出1.5W。
https://i.imgur.com/vWGauGk.jpg

5. 心得/評論：有網友認為JKW做了與他們能力不服的影片選題，而粉絲不具備批判性思維
能力，一切的背後是泛娛樂化至上。亦有網友認為手機這邊還是得老老實實測每台不同機器
的整機功耗，單純測SOC單核功耗水太深。
https://i.imgur.com/XJqKCJk.jpg


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 89.187.161.23 (日本)
※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1653901980.A.34B.html
※ 編輯: square4 (89.187.161.23 日本), 05/30/2022 17:14:39
推 JuiFu617: 結果自己沒有數據？
→ a80530: 其實本身測試本來就會有誤差，但不能否認極客灣測試結果
→ a80530: 至少他結論，互相比較方面都算準確，A710、A510翻車沒人想
→ a80530: 到
推 emptie: 翻車結論正確不代表推論過程沒瑕疵
→ emptie: 我覺得這種實事求是的態度是對的
→ JuiFu617: 不過如果改掉瑕疵答案會不一樣嗎？
推 Uncontinue: 類似程序正義吧 之前做研究法也是 方法錯就要全部重來
推 sunandrew321: 個人覺得瑕不掩瑜啊，以科普節目來說已經夠了，又
→ sunandrew321: 不是要發表期刊論文
推 ivon852: 有嚴謹質疑是好事
推 lukesfather: 完全同意質疑方向
推 a80530: 我覺得要質疑前，自己要先拿出自己的一套來質疑
→ a80530: 不然每個人測試方式、條件本來就不同，不是疑問丟了就跑
→ henryyeh5566: 要質疑別人最有效的方法就是拿出一套更有說服力的
→ henryyeh5566: 數據來打連，而不是針對人家的方法指手畫腳，你當
→ henryyeh5566: 自己是口委嗎？
推 yurian: 他是測試 一定有很多漏洞 但是做評測就這樣 他又不是發布
→ yurian: 什麼標準
→ yurian: 他是靠影片賺錢 又不是靠幫人定義標準賺錢
→ yurian: 今天如果上法院或是發表在期刊這樣不是不行的 不過他是發
→ yurian: 在bili和yt上lol
※ 編輯: square4 (138.199.22.151 日本), 06/20/2022 21:02:02