[閒聊] 打造高階工作站(1)-計畫

[hotdogee (hotdog)]

目錄：                                             文章代碼(AID)
  [閒聊] 打造高階工作站(1)-計畫                    本篇
  [開箱] 打造高階工作站(2)-EE-ATX機殼              #1GBL9YOk (PC_Shopping)
  [開箱] 打造高階工作站(3)-CPUx2 DIMMx24 主機板    #1GOrrXS6 (PC_Shopping)
  [開箱] 打造高階工作站(4)-Xeon E5-2650 * 2        #1Hu0zJMG (PC_Shopping)
  [開箱] 打造高階工作站(5)-24x金士頓8GB ECC REG    #1Hv2IjIa (PC_Shopping)
____________________________________________________________________________

Blog網頁版: http://hotdogee.blogspot.tw/2012/08/1.html

這篇是接下一系列非專業開箱文的一些背景介紹，包含為什麼要組這台電腦，
以及每個零件選用的原因。

因為這台電腦所選用的零件是一般人比較少有機會接觸到的，這些零件的組
裝在網路上可供參考的資料較少，所以決定把這過程記錄下來，用系列文的
方式發在PTT本版。


[需求與用途]

1. 跑大量資料分析比對

   - 每次實驗產生幾百GB的基因定序資料要重組、分類、定量，每個步驟都是大
     量(CPU)平行化的，整個過程用i7-3930K一般要跑一個禮拜至一個月。每組數
     據從開始做到結束會產生5~10TB的資料量。

   - 尤其作基因重組這個步驟可以跑的資料大小上限與記憶體大小有直接的關係
     ，隨著實驗技術的進步，每次實驗產出的資料量越來越大，記憶體不夠根本
     跑不了。

2. 程式開發與測試

   - 以遺傳演算法(GA)與平行化演算法(MP)為主。

   - 平行化已使用CPU為主，GPU計算目前還在評估與實驗中，視實際問題而定。

   - 網站介面設計與資料庫開發。

   - Windows/TK/GTK視窗化工具開發。

3. 跑VM

   - 同時需要使用Windows與多種Linux

4. 業餘平面設計與影像處理

5. WOW、D3


[粗略規格計畫]

第一項規格要求就是記憶體要越大越好，現有單CPU插槽主機板最多就是
Sandy Bridge-E的8條8GB共64GB；要突破就必須採用雙CPU插槽的架構(雙路)
，在兼顧CPU效能與記憶體容量的情況下，決定採用Intel的Sandy Bridge-EP
也就是Xeon E5系列。

- CPU (中央處理器)：

  Xeon E5系列目前單顆最多提供8C16T，從Intel的網站上可以看到8C16T最低
  階的是E5-2650，往上就只是頻率提高，快取都維持20MB；往下到E5-2640就
  變成6C12T且快取只有15MB。因此在價格的考量下，決定選用E5-2650兩顆，
  以最低的價格取得Intel的16C32T的運算資源。

  http://goo.gl/P97Zc

- RAM (記憶體)：

  - 雙路Sandy Bridge-EP的主機板最多可以支援到768GB的記憶體，
    因為有2個CPU，每個CPU共4通道，每通道可以插3條記憶體，共2*4*3=24個DIMM，
    要達到768GB必須用單條32GB的記憶體模組。

  - 目前一般買到的8GB記憶體模組是所謂的UDIMM，用UDIMM的話每通道只能插2條，
    也就是只有最高128GB。

  - 每通道要插到3條的話，必需要用RDIMM(Registered)。而RDIMM又分為
    SR(Single Rank), DR(Dual Rank), QR(Quad Rank)，這三種只有SR,
    DR可以插到3條，如果買到QR的RDIMM就只能插2條。除非是更貴的LRDIMM，
    則QR也可以插滿3條。

  - 來看看目前RDIMM的價格：
    ┌───────┬─────┬────┬────────┐
    │DDR3 ECC RDIMM│DELL[註四]│HP[註五]│    自組        │
    ├───────┼─────┼────┼────────┤
    │     32GB     │ 60000元  │ 70521元│  60000元[註一] │
    ├───────┼─────┼────┼────────┤
    │     16GB     │ 12000元  │ 28879元│  10000元[註二] │
    ├───────┼─────┼────┼────────┤
    │      8GB     │  4920元  │ 11008元│   2500元[註三] │
    └───────┴─────┴────┴────────┘
     註一：RamStar 鈤星科技 32GB：
            http://shopping.pchome.com.tw/AGAD3M-A64270568
     註二：RamStar 鈤星科技 16GB：
            http://shopping.pchome.com.tw/AGAD3M-A57850427
     註三：金士頓 KVR1600D3D4R11S/8G：
            http://goods.ruten.com.tw/item/show?21204289566263
     註四：HP報價：
            http://sce-public.houston.hp.com/ngc/PublicSCE
     註五：DELL報價：
            http://goo.gl/FcDNP

  - 從上表可以看到，以自組欄來說，從8GB升級到16GB是用4倍的價錢買2倍的容
    量，從16GB升級到32GB是用6倍的價格買2倍的容量。這種C/P值的差距我目前
    還無法接受，所以最後決定選用C/P值最高的8GB模組，24條共192GB。

  - 選用192GB這樣的容量還有另一個原因，192GB是目前Win7 64bit最高可以支
    援的記憶體容量：http://goo.gl/FkHjL


[交給專業的品牌電腦公司？]

一般會覺得品牌電腦一定比較貴，可是到底貴多少？為了看自組工作站到底可以
省多少錢，值不值得，我還是去跟HP還有DELL要了一份報價，內容都是一樣
選Intel E5-2650兩顆，8GB DDR3 DR ECC RDIMM共24條，最便宜可用的主機板、
機殼與電源。硬碟、光碟機等儲存系統先都不選。

HP ProLiant ML350p Gen8：488615元
http://goo.gl/8ClgN

Dell PowerEdge T620：USD$7390(約221700元)
http://goo.gl/NnUrY


[完整規格菜單]

主系統：

CPU (中央處理器)：Intel Xeon E5-2650 * 2           $36000*2=$72000 原X屋
CPU風扇         ：INTEL BXRTS 2011AC * 2           $690*2=$1380    原X屋
MB (主機板)     ：Supermicro X9DRi-LN4F+           $18300          巴X
RAM (記憶體)    ：金士頓 KVR1333D3D4R9S/8G * 24    $2300*24=$55200 原X屋
CHASSIS (機殼)  ：SuperChassis 745TQ-R920B         $19700          巴X
PSU (電源供應器)：熱抽換雙備援920W 80PLUS白金      包含在機殼內

                                               總價$166580

- 備註：
  - 主機板：有在單賣雙CPU主機板的公司不多，Tyan有做雙CPU的主機板，可是
    還沒有24DIMM的E5主機板；Intel自己有出一款，可是查價後太貴了；
    Supermicro在台灣相對比較好訂貨，價格也較便宜，相對來說是C/P值最高的
    ，所以最後選了Supermicro X9DRi-LN4F+這塊。Supermicro有另一款有SAS控
    制晶片的也比較貴一點，雖然10年前我是15000轉SCSI硬碟的愛用者，不過今
    日SAS硬碟C/P太低，我評估後不需要。

  - 機殼：
    這塊主機板是EE-ATX的規格(13.68" x 13")，一般的常見的機殼廠牌所生產
    的機殼都裝不下，所以最後只好用Supermicro自己出的機殼，內建熱抽換雙
    920W電源與8個SAS/SATA熱抽換硬碟槽。

硬碟子系統：

Intel 330 180GB * 2   $4650*2=$9300
Seagate 3TB * 8       $4690*8=$37520
Dell H700 NV 1GB      $11200
H700 SATA線 * 2       $650*2=$1300

                  總價$59320

- SSD當系統碟，傳統硬碟當資料碟。這邊也是單存在可用的情況下，
  採取價格優先考量，我希望以最少的錢獲得最大的空間。

- RAID卡
  - RAID卡我是從小用到大了，從IDE RAID卡到上一張是3ware的PCI-X
  SATA RAID卡，以前用DRAM當快取的加速RAID卡最怕遇到斷電，因此都要加個
  電池跟UPS來防護，但是電池都有壽命問題，更換與維護都是麻煩。這次選用
  這張是拿Flash來當快取的8 port SATA RAID卡裡面，算是C/P值最高最便宜
  的一張卡。

螢幕、喇叭、鍵盤、滑鼠：

這是我目前的工作環境：http://goo.gl/qvD3Z
考慮再加一個DELL U3011放在中間，現有的兩個24吋就放兩邊，用三螢幕。

- 目前現役：
  - 螢幕：HP1940 (S-IPS)，HP LP2475w (H-IPS)，DELL 2405 (PVA)
  - 喇叭：JungleRex AF-21S
  - 鍵盤：Ducky 9008茶軸黑同，已預定KBtalKing Pro英文紅軸藍芽1對10鍵盤
  - 滑鼠：羅技M705，2顆AA電池3年不用換

顯卡：
雖然主機板有內顯，不過要用三螢幕還是要再加一張顯卡，可能會考慮4GB版
的NVIDIA GTX 680。


[下定]

總共跟七家廠商要了報價後，每個零件分別選擇最便宜的廠商下定，從下訂
到拿到貨的時間，每個零件有快有慢，主機板跟機殼大約是兩週，CPU說要一
個月，記憶體大概一週。

目前已到貨的零件：http://goo.gl/y6usJ

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.112.28.73
※ 編輯: hotdogee        來自: 140.112.28.73        (08/14 01:59)
推 pirrysal    :好文，請問你硬碟為何要買海門的阿？
→ hotdogee    :單存價格考量 因為在可用的情況下是最便宜的
→ Nafusica    :我論CPU delay 2周以上的可能性
推 pirrysal    :這到貨零件排起來真賞心悅目～
→ pirrysal    :全到齊的時候記得再多拍幾張不同的角度！
推 turtleknight:你要平行運算該用GPU吧，然後不該用680，該用7970
→ turtleknight:跑openCL hd4000都比xeon還快了...
等我用的程式裡面至少有一個改寫成可以用GPU跑再加就好了。
680 4GB做為開發測試卡是最佳的，一來記憶體夠大，二來同時支援CUDA跟OpenCL，
相容性最好。
→ a40136      :台灣記憶體價格好貴阿 Samsung M393B2G70AH0-YH9Q4
→ a40136      :大概單支250美，看過最低160美
推 a40136      :另外推Supermicro X9DRi-LN4F+ 有10+台運作中 好物!
推 rick65134   :沒意外的話 那種power一定超級吵吧 目測是4CM風扇
→ rick65134   :有打算加個UPS嗎?
→ eva19452002 :這拿來跑xp一定超快的
→ a60100      :不一定，這裡面一堆東西XP可能都不支援...
推 jadepond    :沒考慮用 amazon ec2 嗎？
→ jadepond    :速度又快，而且還比較便宜
當然是有考慮 但是我的程式需求是高記憶體 高硬碟容量
EC2目前最貴的vm 記憶體也只有68.4GB 第一個記憶需求EC2就沒辦法提供了
再說價格 光是68.4GB記憶體的vm 一個月就要49248元
硬碟空間需求 24TB的EBS空間 一個月可是要72000元
別人說比較便宜是把管理人事費都算進去了 但是我是可以通通自己來的
所以對我來說 不只需求不符 也貴很多
推 yichenglee  :熱狗大推
推 cka         :真羨慕啊 不過這樣玩ptt會比較快嗎?
推 cka         :我組16GB的時候就覺得很大了 沒想到有人裝192GB
推 GW40112     :板主《目前動態》：列入無上限菜單中
→ GW40112     :滿滿的$$$阿...等我哪天中了樂透也幫我組一套www
推 scsa3       :17萬應該還沒有到無上限那麼誇張
→ GW40112     :170K這對我來說已經算天價了  而且原PO也有說有些地
→ GW40112     :方是折衷選擇...不然總價會更高XD
推 scsa3       :你可以去APPLE點點MAC PRO選項玩玩看
推 eric424     :不是都說了用途了嗎 為什麼要問PTT跟XP...
→ GW40112     :好吧...我每個都點到頂  445K  天價中的天價XD
推 bigbo       :個人覺得不如直接請廠商報Supermicro的2U Server
→ bigbo       :保固也有人處理
謝謝關心 不過我的保固都是我自己處理
同樣的規格下 價格最佳化 是本篇的重點 任何更貴的選項我都不考慮
※ 編輯: hotdogee        來自: 140.112.28.73        (08/14 15:31)
推 mipkhh      :認真推~不過建議用在線UPS一台
推 cka         :對啊 以你的需求 OPNE CL會省很多錢吧
→ a40136      :192GB對賣主機的來說不算太大啊，處理過最小的Cloud
→ a40136      :都512GB以上，只是一個月大概要5萬多吧，其實有錢
→ a40136      :你有怎樣的需求，都可以搞得出來，只是這台電腦
→ a40136      :你會只用短時間，還是長時間使用，要買斷還是租
→ a40136      :就是看個人需求了
推 s25g5d4     :講的好像改寫程式很簡單的樣子~"~
推 Terrykho    :記憶體堆起來的高度真是讓人賞心悅目
推 michealking :功能基因體? 112真的神人倍出
推 nogard      :推！也推你的AddOns XD
推 cation234   :照片中的機械鍵盤推推
推 rick65134   :貴實驗室真有錢 我們都只有一堆一台一萬的主機...
推 ganbaday    :增長見聞...真好看XD
→ ganbaday    :若像樓上那樣用16台一萬元主機，效果不知道如何?
→ ganbaday    :16台就有32C32T，8G*4*16=512G...不過系統好多個XD
推 soem        :16台就會卡在網路要用多好的問題上...
→ sl5613      :這篇文章一定不會有機殼牌電源不推的問題!!
→ viro72      :當然啊..那PSU應該是特規的吧
推 wolfspring  :好精采  推推~~
※ 編輯: hotdogee        來自: 140.112.28.73        (09/27 03:54)
※ 編輯: hotdogee        來自: 140.112.28.73        (09/27 03:56)
推 sasox03     :增廣見聞推
※ 編輯: hotdogee        來自: 140.112.29.6         (07/16 00:36)