[請益] 公司要組伺服器，但是不確定ESXi相容性

[sam0324sam (Acc)]

大家好～
現在狀況是 HPE DLA380 Gen9這台機器要更換系統並做磁碟陣列
，期望值機器升級做NVMe RAID，還可以穩定安裝使用ESXi 6.7、6.5系統，做VM分割服務。

DL380裡面使用的RAID controller是P440ar，只有支援SAS RAID，所以我自己查到了
HighPoint SSD7101A-1 這張陣列卡，只要一卡就可以接四個NVMe SSD，PCIe也只要占用
一個位置

但是根據vSphere技術文件，NVMe可用於ESXi 6上，網路卻有些說法是會fault bit，而且
沒有查到NVMe 做RAID到底可不可行？
想請問是否有人有好的經驗或是建議可以指教

還有就是如果上面方案可行，接兩張陣列卡，通道是否足以負荷滿載作業（IO吃滿）？

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.135.145.176
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1552074537.A.E44.html
推 as1234884   : 建議詢問配合的SI，有些技術上的問題要原廠及Partn
→ as1234884   : er commit對你比較保險
→ as1234884   : 免得之後出問題上級拿這些事詢問，拿不出當初的佐
→ as1234884   : 證文件就麻煩了
→ sam0324sam  : ESXi 支援度的部分，台灣代理捷元沒人可以回答...
→ sam0324sam  : 詢問原廠要等到週一，想問問看有沒有有經驗的大老QQ
推 as1234884   : 我站內給你個人經驗，不過當作參考就好
推 hcwang1126  : 不要裝NV的卡就沒事 fuck nvdia
推 tacoclement : 老實說，無論你問了一百個自己搞的人，一百個案例都
→ tacoclement : 跟你說ok，原廠文件也跟你說ok，但偏偏自己叫料做，
→ tacoclement : 就有可能遇到況，不如找配合的si處理，至少花頭幾年
→ tacoclement : 的保固/維護，有什麼況都可以抓si來，穩定之後再考
→ tacoclement : 慮不簽MA。除非這台機器只是拿來測試、放不重要的系
→ tacoclement : 統。
→ tacoclement : 我就遇過整組從主機板到光纖卡、2x顆SAS硬碟全部換
→ tacoclement : 過一輪、一年多還沒解決的，而且是si和台灣代理商來
→ tacoclement : 處理
→ fonzae      : 上面的問題是什麼？
→ fonzae      : 至於nvme ssd支援問題，目前只處理過pcie ssd熱當
→ fonzae      : 問題
推 war02090318 : 個人經驗分享 在6.5上使用nvme穩定性比6.7差多了
→ war02090318 :  而6.7使用陣列卡 也常常發生 某些版本fw沒問題 某
→ war02090318 : 些fw出問題 但一般來說6.7搭配陣列卡組建nvme raid
→ war02090318 : 使用經驗是比較好的。所以建議升級的部分 不要自己
→ war02090318 : 動手比較好
→ changmary   : 都用ssd平均寫入，壽命都差不多，為何要組RAID，用P
→ changmary   : CIe SSD
推 m3e40       : 為什麼不買個vcenter跟兩台esxi做cluster，外加做備
→ m3e40       : 份應該還比較穩一點。
推 xu3fu6xup6  : 用kvm啦
推 da21510     : 用KVM啦
→ fonzae      : 他的問題是在儲存設備,跟做HA根本沾不上關係
→ fonzae      : 他現在的需求就是DAS
→ fonzae      : 若是他要做HA,是勢必要走2+1的架構,這個預算有關係
→ fonzae      : 不僅設備要增添 VM授權也要買到vCenter
→ fonzae      : Storage也要挑flash,勢必也要走san,這花費可不便宜
→ fonzae      : 倒不如考慮用Hyper-V,Windows的driver 支援性也不差
→ fonzae      : 之前VM 5.1 5.5可是有Raid driver的問題
→ fonzae      : 必須從ISO,放入正確的config更新
推 ejsizmmy    : 伺服器用Nvme ssd?你開玩笑嗎？你知道你在說什麼嗎
→ ejsizmmy    : ？
→ ejsizmmy    : 熱能一到就飽了....
→ ejsizmmy    : 建議你還是用傳統硬碟做raid
→ ejsizmmy    : 伺服器的熱量一吹過去nvme ssd壽命會更快到期
→ ejsizmmy    : 更慘的是，同一種ssd一起做raid不是怕其中一顆掛，
→ ejsizmmy    : 是怕所有ssd一起掛，這時你資料要換都不能換
推 ddoll288    : 不考慮HP 3PAR StoreServ?
推 hcwang1126  : nvme還好 卡問題大
推 GoGoJoe     : 同樣Debug，拿到Server等級就變成有價，
→ GoGoJoe     : 知道的網友可能就是SI，你要他完整跟你說清楚很難，
→ GoGoJoe     : 畢竟是斷自己財路，找SI或公司IT處理吧。
推 balius      : All flash solution又不是什麼新玩意了，會搞到過熱
→ balius      : 要檢討的可能是你的使用環境...
→ fonzae      : 他走的是可是nvme ssd,別用2.5"來看喔
→ fonzae      : 當時我們也是解不掉PCIe SSD過熱的問題
→ fonzae      : 而且還在正式機房內,有做冷熱通道
推 b325019     : 2.5"跟nvme的問題完全不一樣喔
→ b325019     : 一般2.5都是插在正面迎風的機箱口冷熱通道做好溫度
→ b325019     : 容易保持，nvme是在機箱內甚至是機箱後半側收到的風
→ b325019     : 已經經過HD CPU跟ram用過那溫度不能比
→ b325019     : 你去蹲一次高效能機櫃的熱通道就知道那溫度多誇張
推 birdy590    : ... 有一整櫃都是 2U server, 後面熱到爆根本散不掉
→ birdy590    : 很久以前在國外機房看過整櫃 1U 的, 根本開玩笑
推 b325019     : 整櫃2U我還滿常看到的，不過還是要看用途啦，storag
→ b325019     : e跟虛擬主機都好說話，運算節點就很嗨了
噓 dino2895    : 2.5 U.2溫度又不高，某樓在崩潰啥ㄏㄏ
推 balius      : 就像樓上說的NVME不是只有走m.2的，人家2.5 SFF都
→ balius      : 有完整的方案你偏要自己搞就是要有解決的能力啊…
→ Kitakami    : 印象中 ESXi要走Raid就必須要用外接Raid卡 主機板
→ Kitakami    : 內建的都不支援
推 b325019     : 你去找custom就有驅動了
→ ejsizmmy    : 溫度不高，然後吹過去40、50度？
推 hcwang1126  : nvme的温度高 但又不是不能解
→ hcwang1126  : 不要作全水冷 然後m.2slot又沒覆蓋就好
→ hcwang1126  : oem server散熱是有設計過的
→ hcwang1126  : 東西放那 會不會影響flow
→ hcwang1126  : 裡面的擋板別亂拆 蓋子不蓋不會比較涼
推 sharkbay    : 還有NGSFF M.3阿 就是來解NVMe高熱的
→ hcwang1126  : 然後m家的主控很燙 過熱 關我屁事
→ hcwang1126  : hpc 都1u啊 沒很可怕啊 散熱工程沒好
→ hcwang1126  : 又要站後面debug才可怕 水拉好就沒事了
推 balius      : 這台原廠設定就有支援前方SFF模組安裝SAS/SATA/NVME
→ balius      :  SSD，搞不懂為什麼非要自己在後面裝m.2 NVME SSD吸
→ balius      : 前面的廢熱氣？如果只是一般PC或PC SERVER那可能還
→ balius      : 可以想辦法自己土炮之類的，這種SERVER根本不會想這
→ balius      : 樣幹...
推 GoGoJoe     : 還在PC Server... 這麼想透露年紀？
→ GoGoJoe     : 我記得最後一次聽到，是一位調離資訊體系超過10年的
→ GoGoJoe     : 主管，後來調回來超過一個月後就沒聽他講過。
推 balius      : 只有還帶著乳臭味的年紀才會在意讓人知道年齡...RAM
推 as1234884   : pc server第一次聽過，指的不會是workstation吧？
推 GoGoJoe     : 一些沒學過計組的老先覺用的名詞，指x86架構伺服器
→ GoGoJoe     : ，現在大家都叫x86 Server。
推 as1234884   : 原來如此，從來沒聽過user這樣講過，之後遇到也可
→ as1234884   : 以反應了，感謝
推 GoGoJoe     : 網路上可以糾正，職場上千萬不要，看很多網友崩潰過
推 b325019     : 我覺得他是在說直立型伺服器，不過用詞很重要嗎w
推 as1234884   : 當然不會當面指正啦XD上一句的意思是可以反應出use
→ as1234884   : r在講什麼了
推 GoGoJoe     : 因為很久之前很大型企業的MIS人員並非資訊本科，
→ GoGoJoe     : 搞不清楚如何形容計算機架構，所以就叫PC架構的
→ GoGoJoe     : Server叫做PC Server，如果是學CS的一定叫他
推 b325019     : PC架構這錯太大了ww
→ GoGoJoe     : x86 Server，所以現在沒人有會說PC Server來露餡。
推 balius      : 過去稱PC SERVER確實大多是x86架構的硬體沒錯，但
→ balius      : 只是拿PC層級的硬體充當SERVER工作的稱作PC SERVER
→ balius      : ，真正以SERVER目的設計的x86架構硬體就還是很一般
→ balius      : 的稱作SERVER，上面說的比較偏學術定義．
推 GoGoJoe     : 我們公司是有HA架構的機架式主機，非PC層級。
→ balius      : 那種的就不會叫做PC SERVER啊...這就是實務跟理論的
→ balius      : 差異
→ GoGoJoe     : 經歷職場前十年教導長官血淚史，現在環境好多了。
→ GoGoJoe     : 嗯嗯，那大大應該可以理解當年的IT代溝。
→ balius      : 就好比工業電腦也不會叫他PC或是PC SERVER
推 b325019     : 工業電腦就是工業電腦
→ b325019     : 不過我也不是非本科的就是了，不過看user講一些奇怪
→ b325019     : 的名詞真的聽聽就好，身為小小工程師去糾正這些東西
→ b325019     : 沒啥必要
→ b325019     : 不是本科*
推 balius      : 本科有本科的自尊(我CS我驕傲)，不過工作很多時候不
→ balius      : 是靠自尊就可以暢行無阻的，有時候即使爭贏了連面子
→ balius      : 也贏不到，只是讓大家更互相看不爽，何必呢？
推 b325019     : 所以系統異常user靠背東西爛的時候我也只能用實力證
→ b325019     : 明是誰的東西有問題再靠背回去(X
推 as1234884   : 這裡看來同行或相關行業的人不少XD看到一堆工作語
→ as1234884   : 言
推 GoGoJoe     : 當然不可能當面指正PC Server這件事，不過主管講
→ GoGoJoe     : PC Server，我們回話一定講x86 Server，久而久之，
→ GoGoJoe     : 主管就改過來了。
→ iceyang     : pc server不是指沒錢單位拿pc當server用?
→ iceyang     : 也沒指啥x86server 只是剛好被拿來用的都是x86..
→ fonzae      : 這個要是SI，早就被笑死了，PC Srv
→ fonzae      : 就算以以前compaq年代，也不會這樣稱呼
推 balius      : 專業的自尊(傲慢)？http://tinyurl.com/yxwrsj7w
→ fonzae      : 不敢說專業,至少不會跟著老屁股出去外面丟臉的名詞
→ fonzae      : 如果要把架構套用在PC上,根本就不允許容錯機制
→ fonzae      : 你要把PC Srv當成一個專屬名詞去推廣
→ fonzae      : 只是貽笑大方
推 balius      : 只是跟你說現實中存在這樣的用法，自己理解成要推廣
→ balius      : 這名詞，不要講SI專業連中文基本能力都有待商榷吧？
→ balius      : 話說回來NEC富士通還大辣辣的把PC SERVER產品寫在原
→ balius      : 廠網站上，可以嘲笑一番順便教他們收一收回家吃自己
→ balius      : 了...
→ balius      : 歪樓很久了回到主題，如果是我不會對SERVER搞原廠方
→ balius      : 案以外的用法，除非有人願意幫你測相容度跟扛後續的
→ balius      : 責任，看是要找原廠還是找專業SI，對方有開價就錢掏
→ balius      : 出來弄到搞定為止，自己跳下去搞絕大多數時候都是下
→ balius      : 下策，不過很多主管可能都會要你自己搞就是了...
推 hakugetsu   : HighPoint的卡看spec沒說有支援ESXi 建議還是上lsi/
→ hakugetsu   : HP的NVME RAID卡
→ hakugetsu   : 然後ESXi的確只支援硬體RAID卡沒錯
→ hakugetsu   : 話說ESXi是個你不需要RAID至少也要接個HBA卡的系統.
→ hakugetsu   : . 他AHCI驅動很爛 onboard SATA的效能真的很慘
→ ejsizmmy    : 學過計組的CS還敢叫它X86 Server？現在架構都是x6
→ ejsizmmy    : 4相容x86的，叫x86-64，反而PC Server還比較接近一
→ ejsizmmy    : 點