› 看板 PC_Shopping 關於我們 聯絡資訊
作者exeex (人非腎鹹)
看板PC_Shopping
標題[心得] 3080 深度學習 GDDR6X過熱
時間Wed Jul 13 18:59:43 2022
先講結論： GDDR6X很燙，燙了就很不穩定 打遊戲沒事，但跑Deep learning訓練會壞掉 Deep learning這種應用建議直上帝版，甚至水冷版 以下是debug經驗分享： 之前從EVGA官網買到了一張便宜的3080 本來想拿去做模型訓練，但很容易模型練沒10分鐘就當掉 這個問題總是100%復現，有時早點掛，有時晚點掛 一開始以為是卡壞了，但拿去打APEX又都沒事 (2K144真的滿爽的，直到我打了兩周APEX，才想到我原本是買來做Deep learning的) 研究了一下這代卡的技術，通病就是GDDR6X很燙 所以我開始懷疑是顯存問題 所以我我用了一個簡單的訓練腳本來觀察卡的各項參數 (需要請自取 https://github.com/exeex/pytorch-cifar/releases/tag/v1.0) 訓練剛開始，顯存頻率會直接拉滿到9200MHz上下 然後開始爆熱，接著就掛掉。 於是我用Afterburner將頻率下修200MHz，就不會掛了 但是跑大約10分鐘後 他就會自動降頻到5000MHz... 此時訓練都不會出現當機的問題，但是訓練速度也變成原本的2/3 有夠虧 Afterburner設定如圖： https://imgur.com/aTHIPs4 降頻示意圖 https://imgur.com/yvawLe3 現在在研究，看有沒有可以長時間讓他保持高頻的方法.. 比如用8000MHz，至少沒那麼虧 或是有沒有帝版的同學可以跑看看我這份code 看是不是丐版散熱太爛的問題 PS. 為什麼不用Ubuntu 因為不能打Apex和我只會用Afterburner(ubuntu沒有) -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.169.178.29 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1657709986.A.B44.html
推 tyl510288: 因為你不是拿ROG 07/13 19:01
推 oppoR20: 結論：丐版散熱爛 07/13 19:02
→ oppoR20: 問題就是丐版 07/13 19:02
→ oppoR20: 這就跟挖礦一樣道理 07/13 19:02
推 annboy: 懷疑你買到卡皇 以前3080ti XC沒碰到這問題 07/13 19:04
推 a8312116: 這就是為什麼不推薦3080以上拿丐版的原因 07/13 19:06
推 harry886901: 建議風扇拉滿 Auto最高也只會跑到50%而已 07/13 19:06
推 zone0016: 換散熱貼，風扇轉到最快 07/13 19:10
→ zone0016: 散熱貼用利民或是萊爾德 07/13 19:10
推 AAAWhoAmI: 3080丐版+1 直接PL鎖在250以下比較不會降頻 07/13 19:11
推 harry886901: 還有你temperature limit拉高一點 07/13 19:16
推 otosaka: 丐版散熱爛 你可以學學上面那位仁兄改裝散熱貼 07/13 19:17
推 mrme945: power limit拉105%比較不會降頻，但你還是得去換散熱貼， 07/13 19:25
→ mrme945: 甚至是改銅片，板上之前有人分享 07/13 19:25
推 steven33107: 我猜是背板的記憶體過熱啦，畢竟只有導熱貼沒接觸散 07/13 19:25
→ steven33107: 熱器 07/13 19:25
→ steven33107: 之前有看過礦老闆背板也改風扇的 07/13 19:26
→ aaron5555: 以後直接賭一把買水冷的吧 07/13 19:27
→ a27417332: 這篇是認真的嗎，大家的留言是認真的嗎？ 07/13 19:28
推 sdbb: 樓下支語警察 07/13 19:28
推 harry886901: 3080沒有背面記憶體吧 = = 07/13 19:29
→ a27417332: 都沒看到錯誤訊息的內容，然後冒出了過熱的實驗跟結論 07/13 19:29
→ a27417332: 這前因後果完全是鬼轉耶 07/13 19:31
→ Zenryaku: 丐板就是只能拿來打遊戲用ok而已 07/13 19:35
→ tropotato: 開側板用電風扇吹啊== 07/13 19:38
→ tropotato: 不然拿卡去挖礦 07/13 19:41
→ tropotato: 用colab pro訓練16gb batch size 可以設大點 07/13 19:41
噓 stepnight: 為什麼不直接找EVGA去信詢問== 07/13 19:43
→ wahaha99: 自己改散熱啊 07/13 19:43
→ lolpklol0975: 三星製程 + 美光6X不換 就不買 07/13 19:45
推 TuCH: 錯誤訊息是什麼 07/13 19:45
→ exeex: 錯誤訊息就是cuda 讀資料無回應 整個掛掉 07/13 19:46
→ exeex: 螢幕黑屏 顯卡自動重啟 07/13 19:46
推 SaberMyWifi: 照這測試、只打遊戲拿丐版就非常足夠了阿 07/13 19:47
→ exeex: 我的經驗這種都是顯存錯誤居多 07/13 19:48
→ a27417332: 如果卡出廠有小超，說不定是核心時脈的問題呀 07/13 19:48
→ exeex: 顯存降頻跑就沒事 那87%是顯存問題 07/13 19:50
推 joefaq: 你風扇調成100%看看 07/13 19:51
推 blackway0226: 你先測個溫度吧 07/13 19:52
→ a27417332: 那你可以試試看不降頻進行顯存正確性的測試 07/13 19:53
推 harry886901: 然後你git沒公開 沒辦法幫你測 07/13 19:53
推 Bujo: 冷氣房加風扇直吹，下班繼續訓練通常惠關冷氣，但風扇一定要 07/13 19:54
→ Bujo: 開 07/13 19:54
→ exeex: https://github.com/exeex/pytorch-cifar 07/13 19:57
→ exeex: 有人要幫測嗎？ 感謝 07/13 19:58
→ exeex: 有道理 可以測一下@a27417332 07/13 19:58
→ winiel559: core也可以降頻啊 散熱器是共用的 07/13 20:09
→ a27417332: 有沒有原始的完整錯誤訊息可以貼一下 07/13 20:10
→ winiel559: 預設100%TDP是320W-350W 拉到70-80%試試看? 07/13 20:13
→ tomsawyer: 深度學習（X eth學習（O 會不會你去隔壁還比較多人懂 07/13 20:15
推 blackway0226: 降頻吧 挖礦都沒滿功率跑了 07/13 20:15
推 kevin1221: 不會用QQ 07/13 20:28
推 lostkimo: 用浸泡式散熱？ 07/13 20:28
推 click2258: 3090Ti 聽說不熱？ 07/13 20:49
推 ericinttu: 口袋不深 學習效果打折 07/13 21:01
→ mrme945: 也不是說不熱，是因為單面配置相對3090雙面配置來說比較 07/13 21:03
→ mrme945: 容易散熱，所以溫度表現好一點 07/13 21:03
→ www11454: 不能一邊打Game一邊練……. 07/13 21:03
推 creepy: 去買水冷套件 3000可以解決的事情 07/13 21:27
推 amos30627: Ubuntu 可以打Apex了吧 07/13 21:28
推 Fww: 不想降頻跑的話，就找類似EK的水冷套件吧 07/13 21:46
→ cs8425: 回a某 不行喔 就算proton相容沒問題 防外掛會故意擋掉的 07/13 22:13
推 meowgy: 改銅片唯一解，有賣模組化的 07/13 22:28
推 kenkuo1688: 改銅牌或是把風扇拉高一點 銅片真的讚 07/13 22:35
推 amos30627: EAC問題在steam deck出了後也差不多解決了啊 07/13 22:36
→ cat654231: 換散熱墊 礦工基本知識 07/13 22:41
推 ko363630: EVGA顯卡水冷kit有在賣嗎 07/13 22:51
推 s1011282: 我的3080 ftw3可以幫忙試試，不過帝版也很熱情 07/13 23:22
→ currit: 技嘉的水冷一樣熱情 07/13 23:28
推 nanaha: EVGA 3080 XC3 Ultra 跑沒問題耶 07/13 23:40
→ nanaha: https://i.imgur.com/W0Fw6EU.png 07/13 23:40
→ nanaha: 環境是 WSL2 Python 3.8.5 PyTorch 1.12.0 07/13 23:41
推 AreLies: 我的卡也沒問題一樣XC3 07/13 23:54
→ AreLies: 我覺得是你的殼太悶 07/13 23:54
推 nanaha: 仔細看了一下你訓練剛開始的圖 為什麼你 Test 的速度只有 07/14 00:13
→ nanaha: 我的一半？背景有跑什麼東西嗎 我上面圖的結果背景還有跑 07/14 00:13
→ nanaha: Wallpaper engine 07/14 00:13
→ nanaha: 然後題外話 這種單純比較 model 的實驗建議固定 random se 07/14 00:15
→ nanaha: ed 結果會更有說服力 07/14 00:15
推 nanaha: https://i.imgur.com/p8Ogjjy.png 07/14 00:26
→ nanaha: 第二次跑 把 Wallpaper engine 暫停，code 裡面打開 torch 07/14 00:27
→ nanaha: AMP 一樣沒問題 GPU 降了三度 test accuracy 還高了一點 07/14 00:27
→ nanaha: 點 07/14 00:27
推 logus: 該拍機殼了 07/14 01:21
→ anndy: power幾瓦? 07/14 01:28
→ saito2190: 想噓顯存，不忍噓 07/14 02:30
推 RaiGend0519: 建議直接抄隔壁版同一張3080的挖礦參數 07/14 02:57
→ RaiGend0519: 顯存別超就好，記得降壓 07/14 02:58
→ RaiGend0519: 散熱墊換一換，開冷氣給它吹，搞好一點的機殼，沒了 07/14 02:59
→ RaiGend0519: 降壓可以有效降低溫度，至於卡能降多低得自己測 07/14 03:01
→ RaiGend0519: 開冷氣開側板用電風扇直接送風再觀察溫度 07/14 03:03
噓 B0988698088: 顯存是什麼 07/14 05:13
→ imsmalling95: 丐版爛 07/14 08:16
推 daae: 換AC扇直吹阿 07/14 08:39
推 wolver: 冷氣不夠冷可以用液態氮 07/14 08:56
推 seank0113: 剛剛用evga 3080 ftw測了15分鐘，沒有遇到問題，也沒 07/14 10:33
→ seank0113: 有降頻 07/14 10:33
→ ericinttu: 看來是原PO的問題 還想陰我大哥 07/14 11:57
→ a27417332: 不是呀...又不是每個實驗室都有錢到翻掉 07/14 12:13
→ a27417332: 哪來那麼多Tesla能跑，配的PC很多都用消費級的卡 07/14 12:14
→ a27417332: 就沒聽過有人講消費級的卡沒特別改的狀況下硬體出事的 07/14 12:15
→ a27417332: 過熱頂多就降頻跑慢一點，目前也沒聽到會當到重開 07/14 12:16
→ a27417332: 所以才一直問錯誤訊息是什麼，說不定根本是搞錯方向 07/14 12:16
→ a27417332: 如果真的是出廠硬體就有問題，就換一張新的唄 07/14 12:17
→ a27417332: 這種繞法也不是什麼根本上的解決之道 07/14 12:18
推 Lecn: 3090、80ti都拿丐版 lab甚至沒有24小時冷氣，沒聽過出錯的 07/14 15:06
推 lee79114: 整串看下來丐版玩遊戲很ok啊 3080可以省個3000元 07/14 16:02
→ nanaha: 看起來丐版遊戲以外也沒問題啊 只有原PO那張怪怪的吧 07/15 00:31
→ amos30627: 我特別裝manjaro來玩Apex看看 可以玩 沒被防外掛踢 07/17 17:19
噓 stormNEW: 顯存 09/23 06:00