作者hizuki (入贅桧月家，我妻彩花)
看板PC_Shopping
標題[菜單] 500K/1000K 機器學習 Audio/Vision 用兩臺
時間Wed Jun 10 12:43:06 2020
前幾天的文章可能沒有說明清楚，購入的是兩臺機器
一臺是vision部門使用的，另外一臺是audio部門使用的。
大家可以看到兩臺機器對VRAM的需求完全不同。
Vision的機器是完全我經手的
model: Supermicro 4029GP-TVRT
CPU (中央處理器)：Intel Xeon Silver 4216 x 2
MB (主機板)：Supermicro X11DGO-T
RAM (記憶體)：DDR4 RDIMM 2666Mhz 32G x 14
VGA (顯示卡)：nVidia Tesla V100 SXM2 32G x 2
SSD (固態硬碟)：M.2 480G SATA
Intel OPtane D4800X 375G
RAID ：LSI MegaRaid 9460 4GB cache
HDD ： ST2400MM0129 2.4TB SAS x 10
PSU (電源供應器)：2200W x 4
總價 (未稅/含稅)：USD 35800
因為Vison這邊用戶有八九位，將來GPU安裝完八塊後，是會有二十位同事
在使用這臺機器，所以硬碟採取了傳統模式，利用SSD cache加速。
另外由於適用的trainning場景batch size比較大，所以VRAM單塊就配置很大了。
將來利用NVLink和PCIe p2p都會有比較好的表現。這邊特別提一下，我們使用
的調度器horovod有支援多GPU分發。
而audio組他們實在等不及AMD到貨，所以還是購入了Intel產品。
CPU (中央處理器)：Intel Gold 5218R x 2
MB (主機板)：Supermicro X11DPG-OT-CPU
RAM (記憶體)：32G DDR4 3200Mhz RDIMM x4
VGA (顯示卡)：nVidia RTX 2080Ti 11G x 4
SSD (固態硬碟)：Intel DC P4510 8T
PSU (電源供應器)：2000W x 4
其它 (自填)：NVLink bridge 3 Slot x 2
總價 (未稅/含稅)：USD 17500 左右
他們最多就三位在用這臺機器，所以規格就比較陽春。另外因為batch size比較小，
其實一塊顯示卡就足夠了。
: 推 hotdogee : 這價格我會拿單路Epyc+4張TITAN RTX 06/08 12:20
: → hotdogee : 雙路epyc一樣是128條pcie，需要超過64核才會用雙路 06/08 12:22
: → hotdogee : 這單雙路16通道卻只拿4條記憶體跑雙通道也太浪費 06/08 12:28
: → hotdogee : 是雙路EPYC主機板不OK而已吧，因為沒什人用 06/08 12:30
: → hotdogee : 單路主機板很好買 06/08 12:30
可惜遲了一步
: 推 a2470abc : ram夠嗎？ 好奇如果是跑影像 資料量長蠻快的 06/09 02:20
: → a2470abc : 本來想提NUMA的問題 但是看到AMD交不出來就了了 06/09 02:21
Vision那臺是RAM大很多，其實RAM的作用主要是圖片讀取成HSV的cache會放在RAM中，
也就是Linux shm中
而您看到的是audio的機器，我是不熟悉他們的場景。
至於NUMA，如果沒有虛擬化或者PCIe過CPU搬運，似乎問題不大。
--
你比較喜歡哪一個?
當年不是黨國大老但是被江浙財團捧紅的中國帥哥
跟同樣擁兵一方的諸侯約會裁軍結果半途諸侯們爽約，平常有在寫日記的莊嚴男人開始發飆
別國調侃是不是中國總統，義正詞嚴的說著我是民族的燈塔的威嚴老先生
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 154.13.28.249 (美國)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1591764190.A.DDD.html
推 hotdogee : A100一樣是一張一萬鎂，這時間點買V100感覺虧大了06/10 16:14
→ hotdogee : 準備收二手V100洋垃圾06/10 16:17
本來計劃就是撿洋垃圾或者中古貨
Tesla A100是安不上去的，SXM4的form factor，主機板也會比較貴，其實根本買不到
→ hotdogee : 如果不一定需要用到8GPU訓練1個模型，8張V100的錢06/10 16:34
→ hotdogee : 可以換成買16張RTX8000-48GB，雙GPU同時訓練8個模型06/10 16:36
→ hotdogee : 整體速度會更快06/10 16:39
目前業務規模是一個模型一張V100正好足夠，但是隨着dataset增加，如果VRAM更大是最好?
F。
兩個slot是個問題。
→ arabeske : 這麼專業用途，上電蝦....？！06/10 17:49
回饋嘛，也不想被紅心芭樂抄襲，後面英文會到reddit上
→ hotdogee : Amazon常常可以撿到一張5k鎂的RTX800006/10 18:04
→ hotdogee : 現在eBay也有一張14萬台幣的近全新二手RTX8000：06/10 18:06
這種沒辦法報稅，法人採購必須有稅務憑證
※ 編輯: hizuki (154.13.28.249 美國), 06/10/2020 19:09:38
→ hotdogee : 國外採購用INVOICE跟進口報單完稅憑證即可 06/10 19:56
→ hotdogee : 可以問合格會計師,不缺少自己從國外進口的能力很虧 06/10 20:02
一般企業法人絕對不會這樣做的，如上例就是無法提供合法請款證明。
假如是進出口，加稅不便宜，也沒人願意跑這麼長的流程
→ hotdogee : 不過你問到的RTX8000跟V100報價是多少? 06/10 20:09
具體我不方便講，不然會被投訴妨礙營業。標示大體上就是官網價左右，
不過這個數字在總決算中沒有意義，系統商代理商都是package price的。
中古如果不是代理那邊購入的，也沒有保固可以用，壞一個要被罵死了。
已經用Amazon和GCP支撐一段時間了，如果再繼續下去都可以再買一張V100了。
後續如過要擴展vDWS或者grid應用，也無法相談價格。
※ 編輯: hizuki (154.13.28.249 美國), 06/10/2020 21:16:29
→ hotdogee : 事實上所有電腦設備從美國進口都是免稅(稅則8471) 06/10 22:22
→ hotdogee : 我常常幫我公司從國外合法進口，INVOICE跟報單就是 06/10 22:23
→ hotdogee : 合法請款證明，沒那麼難 06/10 22:25
→ hizuki : 明顯我不在臺灣 06/10 22:49
推 aegis43210 : 很需要雙精度運算嗎? 06/11 00:56
→ aegis43210 : 台灣一般都拿2080來算的 06/11 00:57
→ hizuki : 不需要，純粹是為了NVLink擴展，也說明了VRAM不夠 06/11 08:28
※ 編輯: hizuki (154.13.28.249 美國), 06/11/2020 19:51:10