[討論] 最近掛了一票儲存裝置....

[chang0206 (Eric Chang)]

這篇應該算是抱怨兼閒聊吧...

一年多前到目前任職的公司時，前人留下了一批segate 2T 硬碟(ST2000DM006)
數量大概有四五十顆左右，採購時間在2016年，所以都還在保固內

這一年多來，陸陸續續的把這些硬碟用了一大半出去，庫存大概剩下十顆左右
可是就在最近這兩個月，開始收到系統寄出的smart警告

一開始是幾個月前群暉的NAS發出的，但不管怎麼換硬碟，那台NAS就是一直出現警告
所以我認為是NAS機器的問題，而不是硬碟有狀況
事實上也是如此，然後報群暉維修，就報了一萬七千多的天價...機器也才買兩萬多塊
當然是決定不修了，也開始著手自建NAS(FreeNAS)，準備換掉手邊的其他三台群暉NAS

手邊有很多ASUS tower server，想說都要自己來做了
那就直接裝滿六顆硬碟，然後把系統灌在隨身碟上
就這樣做了五六台出來，陸續上線，其中包括一台10G的配置
可是上線沒多久，就在群暉NAS出問題之後
這些server也都開始發出信件警告SMART有問題
不過奇怪的是，有些是直接就找不到硬碟，有的是警告C5/197/198 > 0
上禮拜跟同事盤點了一下，合計有8顆硬碟出現SMART警告，這比例也太高了吧！
總共算用了50顆硬碟好了，就有8顆出現異常，那就是16%的故障比例
這應該不能算是人品不好了...

由於我很堅持我人品沒有問題(誤
所以我做了幾個測試，我拿一台一樣的Server，只裝四顆硬碟上線做一樣的事
只是RAID等級不同，前面裝六顆的都是RAID10
這次裝四顆的，我都跑RAID5
測了一個多月下來，發現同時裝機的三台機器，只有裝四顆硬碟的這台沒有錯誤
其他兩台都各有一顆出現異常
嗯哼，看來問題不只是硬碟，連Server也有問題，難道是電力不夠？
既然有這個疑問，當然我們就要繼續實驗下去

於是我改用了「據說」比較省電的SSD (其實SSD有沒有比較省電似乎眾說紛紜？)
用ADATA 的SU650 480G SSD六顆，一樣做RAID10，然後這台做成10G的環境
把虛擬機的備份多做一份到這台來，所以這台基本上是平常都閒置
只有在半夜會頻繁寫入一個小時左右
沒想到這樣子的測試，不到兩個禮拜，就掛了一顆SSD，而且死得很徹底
連SMART都還沒發現錯誤(我每天有排smart short test，每週跑一次long test)
直接就在系統內消失，重開機之後發現連BIOS都看不到了...
拆下來送修之後，先用手邊備用的創見512G SSD頂上去
不過呢，接下來又有兩顆出現SMART C5/197/198 > 0 的情況
所以現在是raid degrade 然後又有兩顆出現SMART異常的狀態
(好孩子不要學，大叔心臟夠大顆才這樣玩...)
可是這樣子沒辦法驗證前面懷疑是因為電力不足所造成的問題
我也沒有設備可以定時抓電力使用狀況
看樣子需要其他方法來確認到底是因為主機供電不足造成硬碟錯誤
還是真的單純就是硬碟有問題
不曉得各位有什麼建議嗎？

總之呢，這兩個月來就是這樣每天收到各地機器寄來的SMART警告信件
https://i.imgur.com/CNEsHKl.png
然後被助理小姐念說怎麼那麼多硬碟要報修
小姐，我也不願意啊...而且這批硬碟還都不是我買的耶...
看來下一次如果還要大量採購硬碟，要盡量避免只買同一個型號
只是通常這樣會被採購念就是了...

好，碎念完畢，繼續去機房拆硬碟....
ASUS Server還沒hot swap，真的是有夠OOXX ...

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 103.78.122.61
※ 文章網址: https://www.ptt.cc/bbs/Storage_Zone/M.1557112284.A.970.html
推 waakye      : 全部同一批 當然一起掛的機率高
→ waakye      : 然後又是死雞
推 x20165      : power 要不要測試一下
→ spfy        : 有可能 如果剛好買了一大批DM001就會尿褲子了
→ chang0206   : 請問power要怎麼測試？不用電力勾表去量的話
推 casko       : bios裡可以看到電壓吧
推 greg7575    : 貴司電壓不穩啊。沒AVR 嗎
→ hua780830   : 這種機率跟時間，貴公司的電或主機本身的電源似乎得
→ hua780830   : 看看
推 greg7575    : 而且如果你的 NAS 電跟有壓縮機的共用電
→ greg7575    : 那你的 NAS 絕對死很快。檢查一下用電吧
推 nightwind209: 有幾個點可以看說 一個是硬碟本身 一個是供電 一個
→ nightwind209: 是server內建的RAID問題(?)
推 birdy590    : 傳統硬碟的可靠性本來就很低, 什麼狀況都不奇怪
推 tomsawyer   : 沒hot swap 你484要過勞死了
→ chang0206   : 這些機器都有接UPS唷.. 翻了一下google想說找看看
→ chang0206   : 可以看power狀態的指令，結果啥資訊都沒有..
→ andy05      : 都用NAS了，怎麼不是用NAS碟？
→ chang0206   : https://i.imgur.com/gTY5HZF.png
推 waynechen251: 既然都公司採購 下次就買好一點的nas碟唄 資料無價
→ chang0206   : 下一批我應該就直接全部用SSD了..
推 tomsawyer   : 用廉價ssd有比較好嗎Orz 不如全上545s/mx500
→ litwild     : 最近我2013/03 買的hitachi/toshiba 2T 陸續壞軌了
推 iraqolddad  : 不會吧 我還有四顆3T的toshiba/hitachi在服役....
→ iraqolddad  : 我本來還想撐到大容量SSD降價...
→ chang0206   : 嗯，下一批的確是考慮545或mx500
推 greg7575    : ups 也不見得每台都是在線式的。多確定電的問題
→ chang0206   : 可是電的問題在linux底下有什麼方法可以看？
推 hentaiojisan: 這硬碟定位是desktop，非Nas/enterprise，就別拿去
→ hentaiojisan: 作磁碟陣列了
推 waterblue85 : SU650也是先跳過再說 用 WD藍標穩多了
推 delaluna    : 545或mx500也沒多高級 企業RAID就直上Intel DC系列
推 nissptt     : 在線又穩壓的才能改善電源品質，看是不是g大說的，
→ nissptt     : 是不是和壓縮機共線了
→ tomsawyer   : dc系列貴的要死要死 不如freenas配nas碟+ssd做快取
→ tomsawyer   : 如果有穩壓avr應該是還好啦lul
推 toodoo      : 可以安裝 lm-sensors 套件, 他可以偵測溫度/電壓/
→ toodoo      : 風扇, 不過前提是主機板有內建相關的sensor
推 balius      : DC系列就是物有所值，如果不需要那個品質自然不用付
→ balius      : 出這樣的預算
推 andy199113  : 檢查大型UPS健康狀況
推 pika9898    : 民用等級ssd 一般不是死顆粒都是死主控比較多
→ chang0206   : 1. UPS確定是在線式 有沒有跟壓縮機共用？沒有
→ chang0206   : 2.硬碟當初採購時(2016)，可能還沒有NAS碟？
→ chang0206   : 手邊也就這些可以用，所以也只能繼續上
→ chang0206   : lm-sensors有裝過，但是asus 這台server不提供那些
→ chang0206   : 資訊。
→ chang0206   : 4.UPS每年都有簽MA來檢查狀況 不過我看不懂就是
→ chang0206   : 反正工程師說OK
→ chang0206   : 現在會傾向降低硬碟數量 改作raid5來暫時應付著用
→ chang0206   : 等下一批直上SSD，電力問題就真的不知道怎麼解
→ chang0206   : 我進BIOS去看，電壓輸出也沒有降低，沒辦法有數據
→ chang0206   : 可以證明是電力的問題
→ chris1281   : 2016已經有NAS碟了哦！
推 sma1033     : 便宜的硬碟還是有麻煩的地方，不想找麻煩還是買好的
推 Nexus5X     : 全部差不多時間壽終正寢的機率超低
→ tomsawyer   : nas很早就有了 我5-6年前買st2000vn001*4 全掛lul
→ s860355     : sata線跟主機內溫度對流狀況也可注意
→ chang0206   : sata線我有全部換新，機殼內溫度我就沒注意了
推 nemea007    : 可以在輸入電源，掛個欠逆相保護器，有偵測過電壓和
→ nemea007    : 低電壓的，如 ANLY 的 AVER 型號