[請益] RAID5(四顆)比單顆硬碟效能還慢, 怪~

[williambug (william)]

最近在公司做實驗, 想要組一套的廉價的PC (為了組一群BigData用的主機群的先期測試)

設備清單如下:
CPU:i7-4790 , RAM:8G*4 , M/B:ASUS H97M-E , SSD:M.2 128G & SATA 128G * 2
HDD:WD紫標3TB*4 , OS:CentOS_6.6_x64

測試指令:
  大檔讀寫 dd if=/dev/md### of=/data/testfile bs=1G count=1 oflag=dsync
  小檔讀寫 dd if=/dev/md### of=/data/testfile bs=512 count=1000 oflag=dsync

測試結果:
  SSD 單顆  : 大檔 144MB/Sec , 小檔 139KB/Sec
  HDD 單顆  : 大檔 259MB/Sec , 小檔 12.9KB/Sec
  HDD RAID5 : 大檔 43MB/Sec  , 小檔 3.8KB/Sec
  HDD RAID0 : 大檔 427MB/Sec , 小檔 16.5KB/Sec

我們用的是主機板上內建的 Intel Rapid Storage 的 RAID 功能,
我們能夠理解他會用掉ㄧ些 CPU 效能, 但我們同樣去測試公司的機架式 PC Server
他內建的 RAID-5 也是一樣差不多的效能, 剛開始還嘲笑 Server 效能原來也不好
但測試後就是發現 RAID-5 效能就是很差

RAID-5 雖然寫入時雖然多了編碼的動作(資料膨脹), 但寫出時, 不是分別寫出到四顆硬碟上嗎?
每顆硬碟只分配到四分之一的資料量, 理論上應該比單顆(沒有RAID)的硬碟效能高吧?
即便他不是同時寫出到四顆硬碟, 而是依序逐步寫入到四顆硬碟(我不清楚實際的運作),
效能也不至於降得這麼低吧??? 請問網路上的大大們, 誰有實際RAID5的安裝經驗
而且實測過效能的, 請指點一下迷津吧, 感謝~

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.135.236.237
※ 文章網址: https://www.ptt.cc/bbs/Storage_Zone/M.1431927489.A.42A.html
推 Litfal      : 小檔合理但大檔怪怪的
→ howard65    : IRS這麼慢正常...
→ howard65    : bottleneck 是 controller 不是硬碟
推 asdfghjklasd: 阿是不用計算嗎????
→ ruo01332000 : 很正常...主機板的RAID5就是這種效能
→ ruo01332000 : RAID5不是正常的把資料切成四分
→ ruo01332000 : 以你的例子來說4顆硬碟RAID5會把資料切成三份
→ ruo01332000 : 再把這三分經過晶片組計算產生一組冗餘
→ ruo01332000 : 這組冗餘跟那三份資料有相關 只要失去三份的其中一
→ ruo01332000 : 份你可以透過利用冗餘反推算得到失去的那份資料
→ ruo01332000 : 因為這個過程RAID5的存取資料時都會有大量的計算
→ ruo01332000 : 那讀出的時候能不能只由三份資料以類似三顆硬碟
→ ruo01332000 : RAID 0一般? 答案是不行 資料在讀取時也會與冗餘比
→ ruo01332000 : 對進行錯誤驗證確保資料的可靠性
→ ruo01332000 : 要做RAID5光靠主機板晶片是不可行的
→ ruo01332000 : 除非你能夠接受你測出來的那種效能
→ ruo01332000 : 如果用專業的RAID卡就能4顆電腦RAID5如同三顆硬碟
推 twwangwang  : 還是加裝raid卡才好
→ ruo01332000 : RAID0一般的速度 所以你現是完全卡在效能不足的點上
推 rtwodtwo    : raid5需要作資料演算 專業raid上面會有處理器
→ rtwodtwo    : 你用軟體raid5就是這種鳥爛笑果
推 chang0206   : 可是我很好奇耶，他的CPU都已經是 i7-4790了
→ chang0206   : 這樣的cpu效能不足以應付raid5的運算需求嗎？
→ ruo01332000 : 可以啊 前提是你要用的是完全的軟RAID
→ a73126      : 看了一下，你是自己的md當dd source然後又放到md的
→ a73126      : mount上?....這樣會自己卡自己同時讀取寫入效能吧?
→ a73126      : 我用我的NAS測試一下，來源/dev/zero可以到125MB/s
→ HiJimmy     : 用卡比較快 CPU比專用處理器還是有差
→ a73126      : 但是自己產給自己只有95.1MB/s
→ maniaque    : 看不太懂 linux 指令
→ maniaque    : 剛翻了一下,你這是自己拷貝到自己吧???
→ a73126      : 你應該要先確認你的/data/testfile mount point
→ a73126      : 是mount哪個磁碟，如果跟if的/dev/md###是來自同硬
→ a73126      : 碟，那就會是自己拷自己
→ maniaque    : 建議掛個 ramdisk ,這樣子測會比較客觀一點
→ maniaque    : 不然至少要測 create 亂數值 file (write)
→ a73126      : /dev/zero是從ram阿，只是數值都是0
推 torosome    : 你開機系統也裝在ＲＡＩＤ磁碟上嗎
→ YouCantGetME: 該不會還沒initialize完就測了?
推 mypigbaby   : 為什麼不花個一萬買塊專用的raid卡,我用3tbx7做raid
→ mypigbaby   : 5可以跑出1g/s左右的速度
→ ruo01332000 : 如果不是公司用的話可以買便宜的H700
→ ruo01332000 : 才3K就有了
→ TsaoCCFGOGO : 請問 @mypigbaby 用的RAID卡是哪張？
推 chang0206   : 好奇.. 3Tx7 raid5 可以破1000M?
推 birdy590    : 1.硬碟數量要多 2.要速度請試 ZFS(eg FreeNAS)
→ williambug  : 是的,來源與目的都是RAID磁碟,我只是要相同條件下,
→ williambug  : 各種方式,效能差異是多少,結果才發現RAID5這麼慢
→ williambug  : Server上的RAID5也是很慢;此外,我用的dd指令迴避掉
→ williambug  : Cache的機制(參數oflag=dsync)否則可達69M/Sec
推 frank1992126: zfs 要快相對記憶體也要大;而且要有ssd做l2arc
→ frank1992126: 跟 zil 效能才會好一點，不過 zraid 感覺 iops 都
→ frank1992126: 不太高
→ frank1992126: *raidz
→ birdy590    : 要撐 iops 硬碟顆數一定要夠多... zil/l2arc 不是神
→ birdy590    : 一般 RAID card 都不是對手了, soft RAID 更不用說
推 jyhfang     : 還蠻好奇用ZFS RAID-Z1的情況下 搭配Xeon E3-1231v3
→ jyhfang     : 等級的CPU 讀寫速度可以到什麼水準 同一時間會佔用
→ jyhfang     : 多少CPU資源 效能大概等同於哪種等級的RAID card?
推 birdy590    : ZFS 的對手是 RAID box , RAID card 用途不太一樣
推 goodga      : 要衝IOPS 的確硬碟數要多，一百顆還可能嫌少
推 chang0206   : IOPS? 早就有單一SSD破百萬了...硬碟多(X 錢多(O
推 lairrol     : ZFS 沒有想像中的快哦~顆顆...