[菜單] 50k 四張顯卡的AI訓練主機(已有顯卡)

[baby810321 (Q毛)]

已買/未買/已付訂金（元）： 已買4張顯卡(1060、1070、2060、2070)

預算/用途：50K內/公司的AI模型訓練主機

CPU (中央處理器)：Intel i9-10900X【10核/20緒】3.7G(↑4.5GHz)/19.25M/165W
                  /無內顯【代理盒】, $19900 ★
MB      (主機板)：華碩 WS X299 SAGE(CEB/8*D4/雙Ｉ網/2*M.2/2*U.2/三年)
                 【客訂】, $18190 ◆ ★
RAM     (記憶體)：芝奇 G.SKILL Ripjaws V 32GB DDR4-2666 C18(黑)
                  ( F4-2666C18S-32GVK)[終保], $3250 ◆ ★
VGA     (顯示卡)：
SSD   (固態硬碟)：
HDD       (硬碟)：Seagate 1TB【新梭魚】(64M/7200轉/三年保)(ST1000DM010),
                  $1270 ◆ ★
DVD-RW  (燒錄機)：
PSU (電源供應器)：振華 LEADEX 1300W 雙8/金牌/全模/5年保固/DC-DC, $5490 ◆ ★
CHASSIS   (機殼)：Phanteks Enthoo Pro2 黑(非透側) 顯卡長50/U高19.5/支援雙電供
                  /EEB(PH-ES620PC_BK), $3900 ◆ ★
MONITOR   (螢幕)：
Mouse/KB  (鼠鍵)：

其它      (自填)：利民 TL-C12 12cm風扇/FDB/PWM/1500RPM/防震軟墊, $420 ◆ ★
總價 (未稅/含稅)：53680



以上是請廠商幫忙組的菜單，有以下幾個問題要請教各位前輩

1. CPU的價格有點差出我們預算，廠商是說要組4張顯卡一定要使用X299的板子
   ，使用X299的板子一定要使用X299的CPU，所以最便宜就這張

2. Power使用1300W是否夠力

3. 我們很怕訓練模型的時候主機燒起來XD 請問機殼的散熱OK嗎

4. 是否有其他更推薦的組法

ps. 我們team的預算真的比較有限，過去一兩年已經分別買了4張顯卡
    ，所以目前先考慮4張一起平行運算作訓練的方式









注意1：自稱小妹或會透露自己性別的舉動要注意可能會引來不必要的紛擾，請注意。
注意2：標題是否有寫明"預算"、"用途"? 沒有請按Ctrl+x 然後按T改標題
注意3：請多加利用線上估價系統來進行估價以及價格查詢 (僅供參考)
注意4：若遇新品問題請勿發除錯文，請直接回原購買處處理。

      禁止任何估價系統的連結，估價系統的估價單號
      與估價系統網址的數字。視為估價單單號。
      與相關包含手寫、excel、估價系統的擷圖連結。
      購買套裝電腦者，發文及回應請自行打上原廠產品型號。
      請勿張貼包含yahoo、pchome、udn、momo、autobuy、燦坤、三井、順發、良興等
      國內網路通路連結。請以文字敘述。
      以上只限制於本板相關物品，有爭議者由板務認定。

      菜單文與情報文，禁止任何估價系統連結與擷圖、包含文字估價單號碼。
      (參閱板規1-2-3、1-3-9)
      違反者:刪文、水桶十日。

注意4：為保障您的權益，購物消費請索取統一發票，並盡量以含稅價取貨
注意5：若有任何問題請先洽詢板務。



--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.124.167.226 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1597288497.A.93C.html
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:16:10
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:17:12
推 xiemark     : 用兩張2070就好了，主機板換成一般的
          我們已經買4張了，想說先把他串起來，而且以後買新顯卡也可以慢慢汰換舊的
推 Raquzza0526 : 你的散熱器呢？
          店家只有給我們組4個風扇耶，需要另外買散熱器?
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:28:28
推 jasn4560    : 應該不會燒起來，但是會自動關機
          是因為POWER不夠還是散熱太差嗎?
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:29:34
推 xiemark     : 不要用1050 1060 2060 2070這樣並用，會有問題
          會有相容性的問題嗎?
→ commandoEX  : 就算能上4張卡，你的卡也會因為吸不到風而效能超低
          為什麼會吸不到風? 是因為裡面散熱功能不夠??
→ commandoEX  : 買礦機板說不定會好一點?
          礦機板可以這樣差我們目前的4張卡嗎?
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:35:00
推 sma1033     : 礦機版會因為pcie頻寬受限而效能不彰
          這樣說起來是否就一定要買那種專業的訓練主機，看大家的意見
          ，家用主機似乎也不太適合
→ commandoEX  : ATX/E-ATX就7個PCI-E槽，你要擺4卡一定是1 3 5 7
→ commandoEX  : 你列的卡都是雙槽起跳，卡跟卡中間空隙很小風很難
→ commandoEX  : 進去當然就過熱降頻
          喔喔喔喔喔，了解，謝謝前輩的解說!!! 照樣是否只能考慮專業的訓練主機
          (那種價格都會比較高...)
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:44:53
推 kidd232     : 兩張顯卡配AMD YES香香雞比較划算
          我們目前是4個電腦個一張顯卡，可以獨自訓練，但老闆想說要提升訓練速度
          ，所以想把大家顯卡集合起來作平行運算，如果兩張顯卡
          ，訓練時間可能就是對半，期待是再更有感一些~
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:50:10
推 sma1033     : 振華1300W那顆我們實驗室有買，一年多風扇就有異音
→ sma1033     : 我是覺得能夠加預算的話看要不要買海牌的比較安心
          感謝給予建議~ 請問你們實驗室也是組訓練主機嗎
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 12:02:18
推 sma1033     : 是呀，也是一機多卡然後日以繼夜操這樣
          同學，方便私信你，了解一下詳情嗎，想知道你們lab怎麼組的
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 12:08:41
推 xiemark     : 你如果用四張不同顯卡，計算瓶頸會在那張最慢的卡上
→ xiemark     : CUDA數不同，GPU RAM也不同。可能比你現在還慢
          最佳方案就是兩張2070，如果以現有資源來看，要顧慮降頻的問題
          ，手上資源最好利用就是2070搭配1070對嗎
推 nightop     : 多卡顯卡挑鼓風扇的比較省空間 怕降頻就擺在冷氣房
→ nightop     : 別關冷氣
          ok，這我們有在考慮，風扇部分我會參考看一下~
→ xiemark     : 用兩張2070配合i7甚至是i5就夠了
推 roger5455858: 樓上正解, 詳請可以參考我之前組的文章
          好，感謝大大介我參考，我查一下
→ xiemark     : Training速度要快，可以跑Tensorcore FP16
          這新名詞我比較不認識，也馬上來看一下
→ roger5455858: 補:樓上x大正解, 會有計算瓶頸
推 jameschiou  : 可以通過設計batch size克服瓶頸 但是很麻煩 建議
→ jameschiou  : 賣掉舊的 再補一張2070 這樣也不用x299
          ok，感覺很多前輩都是這樣建議，而且這樣就比較沒有散熱問題?
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 12:48:56
推 sma1033     : 多人用的機器卡當然是越多越好，而且一般都會先卡
→ sma1033     : 記憶體容量，你程式不一定99%吃滿GPU但是會先OOM
          但很多人說這樣散熱會有問題? 你們實驗室也是4張卡一起跑嗎
推 fu1vu03     : FP16也要看狀況啦  不是任何模型都能用到
推 sma1033     : 很多時候第一步要reproduce別人的實驗結果就會卡關
→ sma1033     : 目前做DL研究的open source code使用FP16比例並不高
          對，我們主要都是參考別人的模型來改，所以我查了一下
          ，可能預設FP16不太行
推 maplefoxs   : 你 CPU花那麼多結果顯卡就這樣XD應該以顯卡優先
          原本想說要把4張顯卡串起來，所以才用到X299，但看來很多前輩都不推
推 pha123661   : 你這樣四張會只剩下4張1060的效能吧 散熱不好 X299
→ pha123661   : 還貴死 拿去賣掉換兩張2070就好了
→ Aquarius126 : 1060 1070可以先賣掉 換張2070來組
          以上好像比較是目前的共識，但S大有提到記憶體的問題
          ，我們也有遇到這樣的問題，可能GPU跑不到頂
          ，但GPU的記憶體加起來要多也很重要，有前輩有合適的建議嗎?
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 13:50:39
→ Aquarius126 : 還有一個方案是租AWS來跑，local先驗證，再丟雲端來
→ Aquarius126 : 完整的training
          這方法真的很吸引人，而且可以一直用最新的運算效能，我們也有評估過
          ，但是我們訓練的DATA包含很多客戶的機密資料
          ，所以後來還是覺得自己組一台訓練主機
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 15:00:16
推 sma1033     : AWS長時間用下來很貴喔，除非你們公司有特別談方案
→ sma1033     : 不然一般人用AWS跑絕對比你自己養機器還不划算
推 sma1033     : AWS比較適合短期忽然有需求，東西跑完就砍掉的人
          我們應該是不考慮AWS無誤

          另外我想請教各位前輩，如果不用X299的板子，有推薦可以插雙卡的板子嗎?
          因為我們找了一下，除了X299的板子，好像沒有其他支援兩個x16插槽的板子
          如果是x8或x4，GPU效能是變1/2或1/4這樣??
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 16:54:09
→ pha123661   : 跑x8的話除非你上到2080Ti不然是幾乎沒有折損的 頂
→ pha123661   : 多1~2% 並不是變成1/2
          喔喔喔喔喔 原來是這樣，我想說爬文一堆雙卡機都是用Z490
          ，但他只能提供兩個x8，感謝提醒~
推 jacky18008  : 其實四張卡比起串起來算，倒不如分頭測試不同參數
→ jacky18008  : 比較實在，你總是要調參的。
→ jacky18008  : 接 nvlink之類的一起跑同一支程式會像上面大大說的
→ jacky18008  : 一樣有瓶頸，國外也有人做過實驗了
          為了不占用個人的研發資源，所以才會想組專門的訓練主機
          ，但是研發人員應該還是會配有自己的顯卡，感謝你的經驗分享
          ，希望各個前輩也都可以多分享自己的訓練經驗XD
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/14/2020 09:02:10
→ amy79968    : ram改拿16g*4跑四通道吧