[開箱] 打造高階工作站(5)-24x金士頓8GB ECC REG

[hotdogee (hotdog)]

目錄：                                             文章代碼(AID)
  [閒聊] 打造高階工作站(1)-計畫                    #1GAK0qnE (PC_Shopping)
  [開箱] 打造高階工作站(2)-EE-ATX機殼              #1GBL9YOk (PC_Shopping)
  [開箱] 打造高階工作站(3)-CPUx2 DIMMx24 主機板    #1GOrrXS6 (PC_Shopping)
  [開箱] 打造高階工作站(4)-Xeon E5-2650 * 2        #1Hu0zJMG (PC_Shopping)
  [開箱] 打造高階工作站(5)-24x金士頓8GB ECC REG    本篇
____________________________________________________________________________

Blog網頁版：http://hotdogee.blogspot.tw/2013/07/5-196gb-ddr3-ecc-reg.html

前言

本系列第五篇的主角是24條金士頓 8GB DDR3-1333MHz CL9 Dual-Rank ECC Registered

DIMM[http://goo.gl/SMf4Y (pdf)]，型號是KVR1333D3D4R9S/8G：

http://goo.gl/5ZZwV (圖)


平常買消費型電腦的記憶體模組大概只會看到"金士頓 8GB DDR3-1333MHz CL9"為止，

所以我在這邊先簡單介紹一下CL9之後那一串字("Dual-Rank ECC Registered")的意思

與其在選購本工作站的記憶體模組時的重要性：

‧Dual-Rank：選購一般記憶體模組時其實不會去在意它的Rank數，但是在選用這部

    工作站的記憶體模組時，這卻是很重要的規格，因為如果錯買成Quad-Rank的

    8GB記憶體(如金士頓的KVR1333D3Q8R9S/8G[http://goo.gl/pA1Nw (pdf)]，

    型號只差兩個字)，我就只能插16條128GB，而不能插到24條192G。

    Intel Xeon E5-2650[http://goo.gl/a2dJE]跟消費型LGA2011 CPU一樣都是四通道

    的CPU，而因為每個記憶體通道只能支援8個Rank，四通道的CPU就可以支援32個Rank

    ，兩個CPU總共是64個Rank，所以如果用了Quad-Rank的記憶體(Quad=4)，每個CPU

    最多就只能插32/4=8條記憶體模組，兩個CPU就可以插64/4=16條記憶體模組。

    Supermicro X9DRi-LN4F+[http://goo.gl/x7VEz]這塊主機板每個通道都有3條DIMM

    插槽，所以如果每個通道要插三條記憶體就必須要用Dual-Rank(Dual=2)的記憶體

    模組。附帶一提，同樣是8GB的記憶體模組，Quad-Rank模組都會比Dual-Rank模組

    來的便宜，是因為製造Quad-Rank記憶體模組所需的DRAM記憶體顆粒成本比較低。

    [1] http://goo.gl/QH0Xo

    [2] http://goo.gl/fcPXd

‧ECC：一般的記憶體模組上面會看到8的整數倍個DRAM記憶體顆粒，一次存取都是64-bit

    的資料；但是在ECC記憶體模組上會看到9的整數倍個DRAM記憶體顆粒，一次存取都

    是72-bit的資料，多出來的8-bit是用來儲存偵錯碼[http://goo.gl/U115H]

    ，記憶體控制器可以用偵錯碼修正64-bit資料裡面發生的所有1-bit的錯誤，

    偵測所有2-bit的錯誤與部份3-bit的錯誤。Google於2009年發表的一篇

    論文[http://goo.gl/xxhHM]裡提到，他們用兩年半的時間在實際的機房內量測到

    的記憶體錯誤率約為2.5~7x10^-11 error/bit·h，以這台工作站的196GB記憶體

    來說，每小時會發生40~110次錯誤；若拿一般電腦8GB記憶體來看，每小時會

    發生1.6~4.5次錯誤。最後從價格上來看，因為相同容量下ECC記憶體模組要用到

    更多DRAM記憶體顆粒所以成本會比較高。

    [3] http://goo.gl/7S45g

    [4] http://goo.gl/dF2Yy

‧Registered：從外觀上來看Registered記憶體模組上面會多一至數顆外觀與其他DRAM

    記憶體顆粒長的不一樣的Register晶片，這顆晶片放在記憶體控制器與DRAM晶片

    兩者之間，用來降低記憶體控制器的線路負載。一般沒有Register的記憶體模組

    稱為Unbuffered Memory，此時記憶體控制器的RAS, CAS與其他控制線路是直接連

    到每一顆DRAM晶片上，如果一個模組有18顆DRAM晶片，光4個模組就有72顆晶片需

    要與記憶體控制器相連，連上來的晶片數量越多，負載越大，大過一個程度就會

    造成電子訊號不穩，這是一個物理限制。所以解決的辦法就是在模組上多放一個

    中間人(Register)，如此CPU上的記憶體控制器就等於只要跟每個模組上的這個

    晶片溝通，不需要直接對每個DRAM晶片下指令。當CPU下記憶體存取指令時會先送

    到Register，再由Register把指令傳給模組上的DRAM晶片，如此大幅降低線路負載

    ，增加穩定性，而間接增加可控制的記憶體容量上限。實際上來看，

    Supermicro X9DRi-LN4F+[http://goo.gl/bDZSF]這塊主機板如果用Unbuffered模組

    ，只能支援到128GB的記憶體上限；採用Registered模組則可以支援到768GB的

    記憶體上限。

    [5] http://goo.gl/szAXp

    [6] http://goo.gl/wn1lY


外盒

難得一次入手24條盒裝金士頓高階記憶體，不免俗地要來個疊疊樂，這是左側面：
http://goo.gl/tTDXS (圖)

這是上面：
http://goo.gl/6ru2W (圖)

這是右側面：
http://goo.gl/pe6jR (圖)

還可以排成一面金士頓記憶體牆：
http://goo.gl/Hk56M (圖)

這兩位是賣記憶體的(誤)：
http://goo.gl/oODAl (圖)

盒子正面：
http://goo.gl/VVHZ5 (圖)

盒上左下角標籤寫了：
商品名稱：遠東金士頓記憶體模組
商品型號：KVR1333D3D4R9S/8G
功能規格：8GB DDR3 1333 伺服器 1支裝記憶體裝置
產地：台灣
額定電壓：1.5V
http://goo.gl/CDp7T (圖)

盒子背面：
http://goo.gl/PpY0V (圖)


開箱

準備割開原廠封條：
http://goo.gl/PIAdi (圖)

把盒裡的塑膠盒拉出來：
http://goo.gl/LwWTB (圖)

塑膠盒背封條上的警告標誌：
http://goo.gl/0Zrc0 (圖)

把盒子翻過來：
http://goo.gl/gmRx4 (圖)

盒子正面封條印有本模組的型號、規格及產地：
http://goo.gl/vvC2r (圖)

封條側面的二維條碼：
http://goo.gl/8BtoZ (圖)

把24支內盒都拿出來排隊：
http://goo.gl/dQaKG (圖)
http://goo.gl/6v41L (圖)

24個記憶體內盒疊疊樂：
http://goo.gl/fdMZW (圖)

割開內盒封條，打開上蓋可以見到記憶體模組本體，正面有18個DRAM晶片與
1個Register晶片：
http://goo.gl/6KDyf (圖)

記憶體模組背面有18個DRAM晶片：
http://goo.gl/cvrJa (圖)

記憶體模組上的貼紙：
http://goo.gl/k0n6T (圖)

貼紙左邊的防偽圖樣：
http://goo.gl/Pu0nX (圖)

換個視角可以發現上面Kingston標誌是用變色油墨印的，也發現原本看似白色
的紙張上也印有微小的字：
http://goo.gl/TWe4O (圖)

每個模組上共有36顆Elpida J2104ECSE-DJ-F，日本爾必達[http://goo.gl/XvKYn]
去年(2012)破產被美光收購了，這是一顆512M x 4-bit的DRAM晶片，
代表每一顆有512M個可獨立定址的空間，每個空間大小是4-bit，所以一次
輸出72-bit就要72/4=18顆晶片，所以1個Rank就是18顆，而Dual-Rank就是36顆：
http://goo.gl/HoMAZ (圖)

每個模組上只有一顆Inphi INSSTE32882LV-GS02[http://goo.gl/VrmNQ]
負責前言所述Register的功能：
http://goo.gl/n7at4 (圖)

模組銅接腳：
http://goo.gl/qRlcz (圖)
http://goo.gl/p0luN (圖)

24條金士頓KVR1333D3Q8R9S/8G[http://goo.gl/pA1Nw (pdf)]模組疊疊樂：
http://goo.gl/E9hcZ (圖)

模組疊疊樂斜面照：
http://goo.gl/bSj0y (圖)

模組正面照：
http://goo.gl/CYscw (圖)

當初趁記憶體便宜的時候1支是2500元含稅，這一疊是6萬：
http://goo.gl/faOeo (圖)

開完箱留下的空盒疊疊樂：
http://goo.gl/AQdzb (圖)


安裝

上篇[http://goo.gl/a2dJE]已裝好兩顆CPU加兩個風扇，這篇就繼續安裝記憶體：
http://goo.gl/RUy8n (圖)

跟安裝一般DDR3記憶體一模一樣，先把兩邊白色卡榫打開，看好防呆方向，
兩邊平均施力下壓就完成第一條記憶體的安裝：
http://goo.gl/Y1KPC (圖)

還剩下23條要插：
http://goo.gl/CrHJn (圖)

過了5分鐘就裝好了：
http://goo.gl/vbB7c (圖)

24支記憶體模組安裝完成：
http://goo.gl/jW8Qu (圖)

CPU跟記憶體都裝好後就可以來安裝機殼附的導流罩，再裝上去前要先根據記憶體
安裝的數量做調整：
http://goo.gl/N1sGw (圖)

先拆下上方的壓克力片：
http://goo.gl/nj4u6 (圖)

將左下方的壓克力板向外移到最後一格：
http://goo.gl/YrmBX (圖)

右下方也一樣向外移到最後一格：
http://goo.gl/2exUc (圖)

根據24條記憶體而調整完成的導流罩：
http://goo.gl/db8kF (圖)

裝上導流罩，跟記憶體完全接合，有效利用前後各兩個機殼風扇幫助
CPU與記憶體的散熱：
http://goo.gl/W46BM (圖)


測試

裝完Win7後進到"系統"，確認有192GB的記憶體：
http://goo.gl/Yzehv (圖)

不過跑Windows體驗指數的時候卻遇到了問題，無法跑完：
http://goo.gl/wrAZP (圖)

錯誤訊息顯示"無法測量系統記憶體效能"：
http://goo.gl/0Blh1 (圖)

Google後發現這個bug只會出現在CPU的L3快取大於16MB時，目前(20130715)桌上型
CPU最強的i7-3970X也只有15MB，所以一般不會遇到這個問題，不過Intel 8核心的
CPU的L3快取就有20MB，超過16MB，所幸只要下載安裝這個Hotfix[http://goo.gl/bSmKQ]
就可以解決了：
http://goo.gl/pCgYA (圖)

跑完Windows體驗指數的結果：
http://goo.gl/0lJT5 (圖)


--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.112.29.6
推 angeltear15 :$$$$$$$$$$$$$$$$$$$$$$$$$$$
推 cowcowcowcow:朝聖推
推 KARASIA     :未看先推!
推 ASDIGA      :竟然還有一個只有7.8!!
推 GhostAI     :搶到五樓推WWW
→ GhostAI     :可是我要說 真的好壯觀XDDDDD
推 pullmoss    :未看先推
推 stupidfox   :好想切ramdisk來跑Gaussian...
推 rick65134   :把"合理"的塑膠盒拉出來
已修正,感謝~
推 odanaga     :20M是甚麼鬼LOL
推 pullmoss    :看完再推  這種處理器也只能跑7.8嗎  囧
→ pullmoss    :那到底要怎樣的處理器才會7.9啊~
推 hangigi     :我一直在等這篇>////< 看記憶體插滿滿 比雙CPU吸引我
※ 編輯: hotdogee        來自: 140.112.29.6         (07/16 01:11)
推 terry1043   : CL9 Dual-Rank ECC Registered
推 qazx11995   :強者必推 還有7.8有點扯
推 lovesaber   :冒昧問下 這種電腦是來跑什麼用途的
大量記憶體主要是要跑次世代基因定序(NGS)的組裝，本系列首篇有說明用途
推 redoot      :想看win8體驗...win8分數超難衝的........
→ redoot      :win7我16gb就到7.9了
推 redoot      :我猜cpu分數應該要衝時脈 e3v2 7.7  i5 7.6
單核心的效能似乎佔很重
→ OPisgood    :CPU要7.9 至少要3930K超到4.5-5G以上吧
推 HiddenGuy   :推!
推 FTICR       :推! 為什麼圖形那兩項會7.9啊?
因為裡面裝了還算不錯的顯卡，計畫是下篇的開箱主角XD
→ silver2012  :一直覺得金士頓的包裝很像巧克力盒
推 windwind    :辛酸血淚CD-R推廣小姐
→ windwind    :推錯.. GG
※ 編輯: hotdogee        來自: 140.112.29.6         (07/16 03:06)
推 rick65134   :金士頓的包裝超讚 內外盒都可以重複使用 創見就不行
推 abc0922001  :好多XD
推 amALu       :朝聖 有點猛@@
推 s25g5d4     :推
推 flamedevil  :好討厭的疊疊樂 , 可惡沒錢
推 GW40112     :可惡  沒＄
推 InfinitySA  :看了一下系列文 原po真強  這種等級我大概要中威力彩
→ InfinitySA  :頭獎才有能力買 XDD
→ InfinitySA  :爽度突破天際了
推 oginome     :朝聖大推，記憶體插滿好壯觀啊～
推 WeAntiTVBS  :現行創見的包裝只要用對方法也是可以重複使用
推 gilberthsu  :朝聖推，本身也在作NGS的研究，記憶體不足真的很痛苦
→ gilberthsu  :另外建議考量一下畢業後是否有人能夠維護0.0
→ y3k         :原來RAM錯誤率還滿高的..
推 dogee       :朝聖~
推 chilama     :有錢真好!!
推 brandvolley :CPU竟然 是7.8...
→ StarHero    :小金的包裝有個好處  會把顆粒寫出來
推 notgoodcow  :好恐怖 沒看過那麼多的記憶體裝在一塊板子上
推 et54987     :只能說原PO真的猛 我上次自己搞那台 根本沒時間拍照.
推 ICEFTP      :推
推 et54987     :唯一的紀念  http://ppt.cc/35aJ
推 michaelchen1:太屌了來朝聖一下
推 itomasato   :朝聖阿... 只有一個7.8...m- -m
推 vespapapa   :靠!疊到天邊!
推 ckgegg      :有神快拜 <(_ _)>
推 pirrysal    :出到五了，推
推 korsg       :這記憶體強度 OVER 9000!!!
推 loking      :這紅色盒子疊疊樂好像喜餅阿
推 skyclam     :其實有在server廠工作的，這都算小case..XD
→ StarHero    :再來就要蓋發電廠了
推 towe77      :好可怕的一台...
推 QuentinHu   :這個bug ..... 一般根本不可能知道阿 !!!
→ hotdogee    :那個hotfix太冷門，網頁上還不能直接抓，
→ hotdogee    :填資料後，微軟才會把hotfix用email寄給你