[討論] 必須處理大量資料的時候

[p52189 (鼠霸)]

嗨大家~

其實也有點算作業文啦...不過我實在沒處理這麼多資料的經驗所以還是來問一下

我現在有大約一千萬筆資料，要找一個容器來裝

但我個人過去只有處理過小專案，碰到這麼大筆不知道該如何處理

現在想法是有兩個


一是就用 MySQL 然後拆成好幾個表來裝

二是想嘗試一下 MongoDB


第一個方案是比較保險的

因為 MySQL 我比較熟悉一點點@@

但既然人在學校就要有點實驗精神(?)

所以也想試試 MongoDB

不知道大家有沒有什麼好意見呢?


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.34.235.137
※ 文章網址: http://www.ptt.cc/bbs/Database/M.1417082074.A.6CA.html
推 alpe: mysql 夠用拉
推 rockchangnew:  才1000萬筆，還好啦
唔...人家只是很想玩(扭)
這樣子我還是拆表好了XD
謝謝兩位~~

→ bohei: 拆成好幾個表不會不方便嗎? 處理資料時每個都要看@@
推 a926: 除非Query效能低落才會考慮拆表說
推 alpe: 拆表也沒必要, 弄好index比較實際
推 chigi: 弄index，搞好你搜尋的方法比較實際
喔!!
我不知道 index 是什麼東西
剛剛才去狗了一下

那如果說資料的數量上億的話也能受得住嗎?
現在是假定數量會在一千筆上下
是因為我們預估只會抓最近一段時間內的紀錄
但來源的資料增加速度非常快，現在已經破億
之後就不是很確定本地需要保存的量會不會增加...要看老師的意思XD

另外
這些資料在查詢的時候通常會以

物件id + 時間

作為一個聯合起來會唯一的欄位
請大家在好心給我一點意見吧@@

※ 編輯: p52189 (114.44.14.246), 11/30/2014 04:34:09
→ jimmy701010: guid