[討論] NoSQL database 測試

[brandonron (假嗨)]

若內容有違版規請告知，我會立即刪除

問題:
我想請問一下，若是寫入1TB的資料量大約都要花費多久的時間??

自己用Thrift測試,每筆rowkey 5個column value
以下是自己測得的時間數據:

1萬rowkey的資料大小約1.1MB
HBase :        4~5 sec
Cassandra : 3~4.5 sec

10萬rowkey的資料大小約10.3MB
HBase :        13~15 sec
Cassandra : 10~12 sec

100萬rowkey的資料大小約102MB
HBase :        110~115 sec (約1分50秒左右)
Cassandra : 101~108 sec (約1分30秒左右)

(以上都是將column 批次蒐集後再寫入的結果，並沒有使用rowkey 對映一個column
value 就寫入的作法)
觀察耗費時間幾乎呈線性成長，如果我依此推敲到1TB的資料大小
一次要寫入到資料庫，幾乎要花費1~2個禮拜(可能會超過2個禮拜)

想請問一下，各位是否有寫入1TB資料量的經驗?
想問各位大約知道會耗費多少時間?1天?7天?14天?
我這樣的推敲出1TB耗費的時間是否正確?

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.127.218.68
※ 文章網址: http://www.ptt.cc/bbs/Database/M.1407228287.A.DB0.html
※ 編輯: brandonron (140.127.218.68), 08/05/2014 16:46:48
→ futureq:硬體因素也有關係..自已測最快
→ brandonron:回f大，自己測50GB花了快1天時間..平均1GB要13~15分鐘
→ KekeMonster: 之前測試四台task tracker bulk load
→ KekeMonster: 約 3.3TB 的資料匯了一天半
→ KekeMonster: 應該還可以更快, 但是測試環境硬體設備很爛
→ KekeMonster: 記憶體不足, bulk load map reduce 需要一直 spill