Re: [閒聊] 如何繞過matlab 弱化AMD CPU功能

[takahashikag (アナタハソコニイマスカ)]

: 推 a58524andy  : 懶人包：if amd ignore avx2 sse3 sse4              11/28 11:35

: → windrain0317: 就matlab用了intel mkl啊                           11/28 11:39
: → a58524andy  : 裡面是說mkl開哪些指令是依據vendor而非指令列表     11/28 11:40
: → a58524andy  : 所以用一些環境變數硬讓他開起來ryzen就扳回一城惹   11/28 11:41
: → a58524andy  : 測試結果來說i+mkl還是有些優勢啦，像是矩陣乘法那   11/28 11:42
: → a58524andy  : 項，18c36t的10980xe還是贏過24c48t的3960x          11/28 11:43
: → a58524andy  : 3970x才贏過10980xe                                11/28 11:43
: 推 ariadne     : AMD也可以自己出MKL 這方面intel真的有下成本        11/28 11:47

: 推 doom3       : 對手CPU只用SSE1 也太針對了吧                      11/28 13:34

: 推 twosheep0603: numpy系列好像也有MKL的問題 改參數會起飛XD         11/28 15:31

: → pig         : 堆土機時代根本不會有人在乎這個啊 AVX1/2 有開跟沒  11/28 15:42
: → pig         : 開差不了多少吧 XD                                 11/28 15:43
: → pig         : 到了 zen 才開始有人注意，用的人多了自然就會改正   11/28 15:44


有玩機械學習寫 Python Code 的，如果換香香機應該也會想：

            喵的怎麼有時候 3700x 跑不贏不知到多少年前的 E3-1230v2

對，我就是跑 SVM 跟 Naive Bayes 時越想越不對勁

然後我找到了 Reddit 討論串跟 GitHub 上的資源

http://bit.ly/2L3w5Fy ， Reddit, Ryzen and Intel's Anti-competitive MKL
http://bit.ly/2R0sD2j ， Ryzen 3900X vs Intel Xeon 2175W, Python numpy

重點就是這段，尤其開發環境是 Anaconda 的用戶應該連署去逼社群改寫這種垃圾奧步

Intel's MKL check the CPUID is GenuineIntel or not, if detected the non-intel cpu, MKL will choose the "maximum capability" code (i.e. SSE2 - slowset) Intel's "cripple AMD" function  Anaconda's numpy use Intel TBB instead of OpenMP, Intel TBB use the intel's proprietary method to detect the CPU or NUMA topology, in this situation zen's SMT will be recognize to the real core, it hurt the ALU performance.

GitHub 上有改善方案，但我怕把 Anaconda 炸掉所以觀望
http://bit.ly/34vjvqr

但光是用 n_jobs 這個參數去強迫 sklearn 使用 Ryzen 的所有核心，都能把原來的運算時間壓縮到 20% 甚至更少

https://i.imgur.com/Dqfz9ta.png
https://i.imgur.com/XAua4cn.png

這招真的是 intel 效能輸人家的時候最愛在編譯器搞的爛招

我想應該最早可以追溯到 2000 前後的 3DMark，就是那個 Pentium4 被 Athlon 鎚爆的時代

對， AMD Ryzen 的 Python Performance 就是輸在 intel 把二十年前的爛招回鍋

--

  while(user==alone){user=find(girlfriend);}
        return user;

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.23.182.59 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1575007686.A.28E.html
→ commandoEX  : 2000年應該是Pentium/PentiumII
當年的 Willamette 架構 2000 Q4，Northwood  架構 2002 Q1

常看癡漢水球大的文章，真的要幹古時很方便

推 WARgame723  : 簡單來說，AMD理論數據很強，使用體驗很糟
http://i.imgur.com/iUKNJl2.jpg

推 yankeefat   : 這應該可以命名為"軟體中立性"的問題了
推 Leohs       : 推分享！ 另外...桌布的程式是什麼阿 很好看
推 hcwang1126  : 不要用Intel mkl就好了 來個open mkl
推 ChangWufei  : 打斷你手腳就贏了
→ commandoEX  : 查了一下是我記錯了
噓 SungHyun    : 爛就爛牽拖有的沒的  人家可以對軟體優化你就不行
→ SungHyun    :   全世界就你毛病最多
http://i.imgur.com/iUKNJl2.jpg

推 Mistborn    : 樓上是不是看不懂亂噓…
推 elyjames    : 歡樂
推 slsamg7112  : 想請問桌面左邊的監控程式是什麼（重點誤
Rainmeter
https://i.imgur.com/YXQk4nj.png

推 wenli978    : 亂噓真的可撥
推 kamir       : 軟體公司政策
推 AreLies     : SH不意外 去A一下ID
噓 BFer        : 全世界就SH你毛病最多
推 extraymond  : 加conda-forge的repo可以裝nomkl或是用其他mkl
推 twosheep0603: 一次釣出兩隻XDDD
推 yu76        : 2隻無教化可能 好懷念c52 風趣多了
推 AISC        : 奧步
→ mikapauli   : scikit-learn本來就要設定n_jobs，這即使用Intel也
→ mikapauli   : 一樣吧。mkl影響的是numpy模組。
我的感覺是多核心使用率的問題，4C8T 他是可以吃到一定使用量，但 8C16T 就不行

如果用 Ryzen Master 把星星的頻率拉上來是可以改善，但的確用 n_jobs 設定最快

不過 Ryzen Python Issue 在技術社群的討論一直都有
http://bit.ly/2qZ9tzd，stackoverflow, 參見回答部分

而且在這個 Sklearn 測試的部分，明明大家測試的時候 Ryzen 在 IPC 不論單核心或多核心表現平均都更佳

但跑起來就是慘不忍睹，你不覺得很怪嗎？
http://bit.ly/2Y78I3n

推 etrogpx     : svm 可以用 thundersvm
→ mikapauli   : 而且如果Intel的OpenMP遇到其他公司的CPU選擇最快的
→ mikapauli   : code，結果連執行都不能執行不就更慘
※ 編輯: takahashikag (59.124.231.117 臺灣), 11/29/2019 15:42:05
推 w180112     : 機器學習不都只要顯卡嗎  為何需要CPU效能
推 tiayafu     : 52教了女友後就不見了
→ mikapauli   : 難道用Intel就不用設定n_jobs？
→ mikapauli   : 因為支援Windows的GPU機器學習方案比起Linux少很多
→ mikapauli   : 在多GPU串聯方案上也是如此。
推 toppop      : 777 原來如此
推 matyih      : AMD這領域真慘 GPU也被n卡整個佔走ML市場
→ suitup      : 粉絲還是會護航人家intel肯砸資源 巴拉巴拉的
→ school4303  : 難怪上次在用的時候 那個cpu使用率有夠低...
噓 saimeitetsu : 紅明顯 Intel Skype 事件
推 pipi5867    : 實際上就是intel肯花資源沒錯呀 還是學生？
推 exeex       : anaconda 要特別裝openBLAS的numpy= = 預設都是inte
→ exeex       : l mkl
推 hcwang1126  : 不過廣為人知後 ryzen數學運算都會去避開intel的雷
→ hcwang1126  : 我自己關察intel在其他的案子也開始伸手
→ hcwang1126  : server還有很多攻防 主要的cpu不行 還是很辛苦
→ windrain0317: 文中測試numpy，intel就靠AVX512衝的
推 ejsizmmy    : yoyodiy應該十年前就繞過intel mkl了
→ ejsizmmy    : 然後直接寫微代碼更新推土機code提升80%速度
→ ejsizmmy    : 後來還破解intelME直接安在推土機裡面，直接欺騙M
→ ejsizmmy    : atlab繞過驗證機制
→ ejsizmmy    : 可惜numpy太新了他那時已經回家耕田不問世事了
→ ejsizmmy    : 好了我掰不下去了
噓 saimeitetsu : 01小笨賢：繼續秀下限
→ saimeitetsu : Intel 微碼 跟AMD跑分低無關 = =
→ windrain0317: AMD低分就開相容模式跑啊
→ windrain0317: 看那結果就完全針對Intel U打造
推 ltyintw     : 全世界就sh相容性最差
推 AmigoSin    : AMD不爽就花錢去買軟體公司幫你最佳化啊
→ huckerbying : AMD砸錢好像都砸在OpenSource Code居多....
噓 saimeitetsu : 對選舉選輸的人說怪你自己不買票
推 BFer        : 樓上神比喻
推 nucleargod  : 自己 openMP 不用擔心這種問題
推 sppmg       : 對選舉選輸的人說怪你自己不買票 還是學生？(幫補)
推 superuser   : 賄選仔:社會和你學生想的不一樣啦
推 leftless    : 不是啊 別人出錢做的函式庫沒必要關心能不能用在
→ leftless    : 你的CPU上吧 既然不知道別人的CPU能不能跑就相容性
→ leftless    : 開到最大最保險呀 不然跑一跑不是更慘
→ leftless    : 不然跑一跑藍屏不是更慘
→ leftless    : 這問題應該要算在Anaconda那些社群頭上
推 hakugetsu   : 但是函式庫不也可以偵測CPU支援哪些指令集嗎？
→ lionell     : Intel沒必要保證MKL能在AMD跑
→ lionell     : 原廠沒保證那Matlab開了跑錯誰負責？
→ lionell     : 用社群開發的OpenBLAS跑錯的話
→ lionell     : Matlab要出來坦嗎？
→ lionell     : 商業軟體就是會這樣綁手綁腳的顧慮一堆