[開箱] 打造高階工作站(3)-CPUx2 DIMMx24 主機板

[hotdogee (hotdog)]

目錄：                                             文章代碼(AID)
  [閒聊] 打造高階工作站(1)-計畫                    #1GAK0qnE (PC_Shopping)
  [開箱] 打造高階工作站(2)-EE-ATX機殼              #1GBL9YOk (PC_Shopping)
  [開箱] 打造高階工作站(3)-CPUx2 DIMMx24 主機板    本篇
  [開箱] 打造高階工作站(4)-Xeon E5-2650 * 2        #1Hu0zJMG (PC_Shopping)
  [開箱] 打造高階工作站(5)-24x金士頓8GB ECC REG    #1Hv2IjIa (PC_Shopping)
____________________________________________________________________________

Blog網頁版：http://hotdogee.blogspot.tw/2012/09/3-supermicro-x9dri-ln4f.html

本篇的主角是Supermicro X9DRi-LN4F+：
http://www.supermicro.com/products/motherboard/Xeon/C600/X9DRi-LN4F_.cfm

特色介紹與開箱寫真

這是目前市面上少數可以安裝24條記憶體的雙CPU主機板，大量記憶體的需求是選用這款
主機板的主因，對多可以支援到768GB的記憶體容量；另一個原因是Supermicro的產品在
台灣要入手相對比較簡單，價格也是最便宜的($18300)。

為了容納24條記憶體，主機板大小是採用
Enhanced Extended ATX 13.68" x 13" (34.7cm x 33cm)。
一般正常主機板的大小是標準ATX 12" x 9.6" (30.5cm x 24.4cm)，
與較小的micro-ATX 9.6" x 9.6" (24.4cm x 24.4cm)，
還有近年越來越常見的Mini-ITX 6.7" x 6.7" (17cm x 17cm)。

把舊電腦的主機板盒子拿出來疊疊樂，可以看看到底比一般常見的主機板大多少。
最上面是3盒micro-ATX，接著四盒ATX，壓在最下面的就是我們的X9DRi-LN4F+
http://goo.gl/myGfr

正面比較看看：
http://goo.gl/MSJeY

完整盒子正面照：
http://goo.gl/gPkJc

盒子背面列了所有主機板的比較表(字想看清楚一點可以點一下圖放大)：
http://goo.gl/TlDjD

開箱了！有一張Check
List上面有檢察人員的簽名，一本說明書，一張驅動光碟，最左邊放一些線材跟後檔板：
http://goo.gl/GcQLW

兩條標準SATA線與上篇機殼付的是完全一樣，都是Amphenol的Spectra-Strip雙直頭線：
http://goo.gl/9WjFm

來看看上圖下方比較少見的一條線。下面比較大的頭是SSF-8087，另一端是4個SATA/SAS
接頭(標P0, P1, P2, P3)與一個SSF-8485 SGPIO 8-pin接頭(標P4)用來連接到上篇機殼
開箱文有看到的SES2背板，有這條線才能讓每個硬碟的獨立燈號正確顯示：
http://goo.gl/oLy1s

主機板的背檔板正反面，VGA旁有一個小洞是給UID指示燈與關閉開關用的：
http://goo.gl/P7ETZ

Supermicro X9DRi-LN4F+本體出場：
http://goo.gl/x3yCi

主機板後面：
http://goo.gl/l5JyB

後方接頭有RS232、四個USB 2.0、四個Gigabit RJ45、一個VGA，以及IPMI專屬網路孔，
之後會再寫一篇專門介紹IPMI這個一般消費型主機板不會見到的功能：
http://goo.gl/Eks8f

主機板上的貼紙印有4個網路孔的卡號(Start MAC到End MAC)，IPMI專屬網路孔的
卡號獨立印在右邊的貼紙上，下方的插槽是CPU1、上方是CPU2：
http://goo.gl/Vdjtl

FOXCONN的LGA 2011插槽(Socket R)，跟i7-3930K是同腳位：
http://goo.gl/ntKog

打開來可以看到2011支接腳：
http://goo.gl/WQDxb

LGA 2011接腳：
http://goo.gl/r3k2v

LGA 2011中央的電容：
http://goo.gl/Rjn72

有兩個CPU所以要有兩個8-pin主機板電源供電，買POWER的時候要注意電源有沒有
兩個8-pin接頭，大部分是要高瓦數的電源才有，例如CORSAIR AX-750W：
http://goo.gl/YsTwv

CPU供電線路，每個CPU都有一組六相降穩壓線路(6-Phase Buck Converter)，
目的是把電源供應器的12V降成CPU用的0.6V-1.35V，這線路可以簡單分成三階段，
下圖中最上面的儲能電感，中間的MOSFET雙開關，與最下面的PWM控制器，利用負
回授(Feedback)調整每相的脈波寬度來達到降壓與穩壓的功能：
http://goo.gl/aqag5

Intersil ISL6366 CPU用六加一相PWM脈波寬度控制降穩壓晶片：
http://goo.gl/UAxRc

TI CSD87350Q5D 高效率雙Power MOSFET功率電晶體晶片，輸出電流可達40A，
在25A時有90%轉換效率：
http://goo.gl/d7e8J

ALPHA&OMEGA AOZ1022DI 這是個整合PWM與MOSFET的降穩壓晶片，輸出電流只有3A：
http://goo.gl/8Nk1U

每六支記憶體用一組記憶體穩壓線路，板上有24支記憶體所以有四組下圖線路：
http://goo.gl/j0ncd

International Rectifier IR3541A
記憶體用的五相PWM脈波寬度控制降穩壓晶片，不過本記憶體穩壓線路只用了三相：
http://goo.gl/VlSOM

TI CSD97370AQ5M 高效率雙Power MOSFET功率電晶體晶片，專門設計給記憶體與
顯卡供電用，輸出電流可達40A，在25A時有90%轉換效率：
http://goo.gl/0Yfmg

把散熱片拆下來後可以看到Intel C602 PCH晶片周邊線路包含SATA接頭與BIOS：
http://goo.gl/g7CRf

Intel C602晶片組提供SATA、USB、RSTe、AMT與vPro等功能：
http://goo.gl/B8ivD

Intel C602晶片特寫，型號BD82C602：
http://goo.gl/augvB

Intel C602晶片上的2D條碼：
http://goo.gl/qeXqp

16MB AMI BIOS支援UEFI：
http://goo.gl/cq0W8

AMI Aptio Beyond BIOS貼紙：
http://goo.gl/LzyRn

TI SN74CBTLV3257 高速多工/分工晶片：
http://goo.gl/nJisV

Intel C602 PCH晶片右邊線路：
http://goo.gl/9F1aM

PHILIPS GTL2005 4-bit GTL到TTL雙向邏輯轉譯器：
http://goo.gl/tU4Aj

SMCI NCT7904D-S 完整支援Intel PECI指令，讀取CPU與記憶體的溫度與電壓狀態，
支援最多四個CPU插槽，包含20個電壓感測接腳與12個風扇轉速感測接腳：
http://goo.gl/TsCSW

ICS932SQ420DGLF這是PCIe與QPI的頻率產生器晶片：
http://goo.gl/5Hdqn

Winbond W83527HG提供風扇與溫度等監控功能：
http://goo.gl/Vgzf2

NXP GTL2107 專門設計來將雙路Xeon的I/O邏輯轉譯成晶片組用的3.3V LVTTL邏輯訊號：
http://goo.gl/ML9qm

TI SN54LVC14A 史密特觸發反相器，學過電子學的其實就只是六個Inverter：
http://goo.gl/qhM6e

ICS FGP202AKL 專門設計給Intel CPU主機板的頻率產生器晶片，可以從一個25MHz的
石英震盪器輸入產生各種CPU外頻、96 MHz、33.3 MHz、50 MHz與32.768 MHz：
http://goo.gl/YfR1H

TXC 25.0 MHz的石英震盪器：
http://goo.gl/zKwYt

ALTERA EPM240T100C5N CPLD 是可自訂邏輯運算的晶片，類似FPGA：
http://goo.gl/y39FV

ICS 9ZX21501B 提供給PCIe 3.0或QPI的15輸出Differential Buffer：
http://goo.gl/c696F

KTS CR2032 鋰電池：
http://goo.gl/2nH3o

這區主要有Intel的網路晶片(UL1)與Nuvoton BMC底板管理控制器(UM1)，
板子上的白字印刷第二個字母是L的元件都是屬於Intel的網路
晶片的周邊支援元件，例如電容是CL開頭，電阻是RL開頭；第二個字母是M的元件則是屬
於Nuvoton底板管理控制器的周邊支援元件，例如電容是CM開頭，電阻是RM開頭：
http://goo.gl/n08kI

Realtek RTL8201F 是IPMI專用的單埠100M網路控制晶片：
http://goo.gl/SNrw9

Intel NHI350AM4 提供四埠Gigabit網路，每埠支援八個VM：
http://goo.gl/da099

TI TPS54218 這是個整合PWM與MOSFET的降穩壓晶片，最高輸出2A的電流，
這邊有兩顆，一顆供電給BMC，另一顆供電給SDRAM：
http://goo.gl/weqSS

Nuvoton WPCM450RA0BX 底板管理控制器(BMC)，提供Matrox G200顯示功能，
虛擬化鍵盤/螢幕/滑鼠遠端控制功能(KVMR)，IPMI 2.0，遠端光碟ISO掛載，
網頁介面管理等功能，就算沒有作業系統也可以遠端進去管理：
http://goo.gl/OTnfG

Spansion S25FL128P 16MB FLASH記憶體，用來放置IPMI的韌體：
http://goo.gl/n0ya2

Hynix H5PS1G63EFR 1Gb DDR2 SDRAM是BMC控制器專用的記憶體：
http://goo.gl/8nurp

TXC 48.0 MHz的石英震盪器：
http://goo.gl/vfFhp

LEM1閃爍時表示BMC工作正常：
http://goo.gl/mWOAe

主機板背面接頭周邊線路：
http://goo.gl/bd014

TI MAX3243E RS-232 驅動晶片：
http://goo.gl/zk3Qb

ON Semiconductor CM2009 提供內顯的VGA埠之靜電保護與緩衝：
http://goo.gl/saZBw

UID是用於安裝在機櫃環境時，可透過IPMI將有問題的機器點燈，以方便辨識，找到機器
後按一下旁邊這個開關即可熄燈做檢修：
http://goo.gl/3trql

進入安裝前要先把Intel C602的散熱片裝回去：
http://goo.gl/wo3x1

使用ARCTIC MX-2散熱膏，具有高可靠度，可以耐八年性能不減，
這次用的是最小的1.5克包裝：
http://goo.gl/0zxWi

塗上散熱膏：
http://goo.gl/Wz2B4

裝上散熱片：
http://goo.gl/CQBHh

安裝

先把背面IO檔板安裝到機殼上：
http://goo.gl/sXgfB

EE-ATX主機板共有11個螺絲孔，把相對應位置的銅柱鎖上機殼：
http://goo.gl/Nz3G2

主機板放上去後鎖上11個螺絲(紅圈)，接下來要把機殼上
五個風扇的電源線接到主機板上(黃圈)：
http://goo.gl/F9yGZ

適度地做點整線，左邊機殼後方兩個風扇的線可以用束線帶固定在扇架上(紅圈)，右邊三
個風扇的多餘的線也可以藏起來，下一步要接電源跟前面板的線(黃圈)：
http://goo.gl/Jrsno

先看電源的部分，除了ATX 24-pin，還有兩個CPU用的12V 8-pin電源線，
比較少見的是POWER還有一條System Management Bus(I2C)，用來把雙備援
電源的運作狀況，電源風扇與溫度等狀態傳給主機板。前面板的燈號與開關接頭
跟標準ATX不太一樣，多了兩個網路控的狀態燈號與電源/溫度異常狀態燈
號，一般的機殼都沒有這些而外的LED燈可以接，這邊用了Supermicro本家的機殼，
有提供完全匹配的16-pin前面板排線。最後在接上前面板的USB線與機殼入侵偵測線：
http://goo.gl/ow5Kf

主機板的安裝到這裡告一段落：
http://goo.gl/nPi8j

結論

優點：
 1. 支援雙Xeon E5-2600 CPU。
 2. 24條DIMM，最高768GB記憶體。
 3. 共四條PCI-E 3.0 x16，且四條都是完整的16通道，另外還有一個x8與一個x4
    在x8插槽裡。因為每個E5-2600 CPU可以提供40條PCI-E 3.0的通道，
    所以兩個CPU其實就有80條通道可以用，反觀現在的i7-3930K與i7-3960X系列
    只有10條PCI-E 2.0的通道。
 4. 四個Gigabit Ethernet網路孔。
 5. IPMI 2.0遠端管理功能。

缺點：
 1. 特殊規格的主機板與前面板街頭，必須要配合Supermicro本家的機殼
    才能發揮最大效用。

這篇寫了好久才寫完，之後會再寫一篇主機板的IPMI介紹與測試。

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.112.28.73
推 flamedevil  :可惡 沒錢
推 rettoly     :超誠意推@@@@
推 pupuliao    :連續看完三篇....期待後面實測
推 malindorothy:好精彩! 推!
推 ICEFTP      :缺點可以再加缺USB3.0支援，不可超頻 (?)
→ goldduck    :本來就沒的超
推 michaelchen1:太屌了~~
推 dre34317    :這個跑分因該有7.9了吧
推 NeedGem     :這種等級的機器不是拿來超的,是要穩非常久.
→ WeAntiTVBS  :跑分如果改用Windows 8的話 就是9.9啦！！
推 a951l753vin :四埠的intel網路晶片耶 太驚人了
推 yewman      :大大太猛了...這不是一般電蝦版鄉民會達到的境界...
推 st3336      :有夢最美阿XD
推 pttresident :先推熱狗大再來看
推 pttresident :看第一篇，基因資料那邊沒有叢集運算的資源幫忙？
要可以用cluster也要程式本身運算特性適合才可以，例如BLAST系列我就有用cluster，
但是這些程式有沒有用cluster其實只是速度問題而已；
不過還有另一類的程式是需要大量記憶體才可以跑的，像是De Bruijn Graph Based的
De Novo Assembly(Velvet, Trinity, ABySS)，是組這台主要的原因，
記憶體不夠的結果是連跑都跑不了，反而速度倒不是問題XD
推 ganbaday    :除了電池都看不懂 先拜...
推 abc0922001  :推~
推 oldandsea   :哥 散熱膏原來要這樣塗哦＝ ＝
→ NeedGem     :De Bruijn Graph... 看起來是指數增長的東西 orz
※ 編輯: hotdogee        來自: 140.112.28.73        (09/27 17:34)
推 FTICR       :散熱膏會不會擠太多啊XD
→ tn00210585  :那也才一點點... 而且一下就被擠去旁邊了 不用擔心
→ NeedGem     :想到自己現在的 i7 也是因為記憶體的問題才去拼的...
推 chrisdar    :這台是 Romley 耶
推 cka         :真讓人羨慕!!!!不知道拿來打LOL是甚麼感覺
推 cka         :PTT如果架在這台上 可以上限提高到50萬人嗎
→ vn504856    :太強大了，E3簡直小巫見大巫@@
→ s25g5d4     :我只看到滿滿的憤怒鳥wwwwwwww
推 h041807     :看到自家產品好開心XD
推 s25g5d4     :樓上有八卦?!
推 pttresident :喔喔喔！ 0.0
→ annredy     :真精彩 但這程度已經需要邊看邊查字典跟估狗了
推 pirrysal    :可惡 沒錢
→ pirrysal    :好夢幻喔～真是男人的浪漫
→ NeedGem     :感覺上是指數的 space... 我光 n^2 就受不了了 orz
推 freshmoon   :相機居然拍的到CPU上的二維條碼... 太扯 囧
→ maniaque    :新接龍破五萬分...:D
推 p520888     :朝聖推XD
推 sasox03     :增廣見聞推
推 gmoz        :50萬人? 不用太神話，這種等級的品牌server一大堆XD
→ gmoz        :若是在相關產業 這種規格的server很常見
→ gmoz        :至於能不能ptt 50萬人? 我想一台是絕對不夠的:)
※ 編輯: hotdogee        來自: 140.112.29.6         (07/16 00:35)