推 PsMonkey:我覺得重點不在讀檔這件事上頭... 03/20 23:53
推 KOFXI:我覺得你把所有的檔案都讀到記憶體中才會讓heap爆調 03/20 23:56
→ luoqr:匯到資料庫如何....XD 03/21 00:05
不好意思 第一次在Java版發文@_@
我一開始有碰到炸掉的問題 不過把jvm記憶體 設到1g後就不會了
SQL應該不會考慮 很多都忘了 XD.. 比較偏好直接讀
※ 編輯: kurakidream 來自: 140.115.220.183 (03/21 00:11)
→ coolcomm:用能動態增長的collection存資料還會炸heap嗎? 03/21 00:31
→ coolcomm:借原po文章問一下 03/21 00:32
→ NewSpec:可以考慮用Mahout, 其中的陣列和資料類別都做了特殊處理 03/21 00:38
我記得動態增長他的resize好像也是有極限的 不過這部分我就不太熟了QQ
※ 編輯: kurakidream 來自: 140.115.220.183 (03/21 00:48)
→ swpoker:問一下你讀檔是? 簡單:寫入DB~在去操作資料~結束 03/21 09:06
推 superlubu:不考慮效能就先讀一次算行數,宣告 array 再讀入資料.. 03/21 10:32
→ jej:讀檔建索引.. 感覺起來像是搜尋引擎在作的事情 apache lucene 03/21 12:32
→ jej:X不知道符不符合你的需求~~ 03/21 12:35
→ swpoker:可以說明一下你要讀檔做什麼嗎?這樣才好判別用什麼方法? 03/21 13:53
是做搜尋沒錯 這些索引檔是已經處理過的 讀出來就是文件向量
Mahout 跟 Lucene 我都會去看看 感謝大家的建議
※ 編輯: kurakidream 來自: 140.115.130.102 (03/21 15:11)
推 cyclone350:借題發問... Mahout是哪一部分跟原PO問的有關係 03/21 15:56
→ cyclone350:最近有看一下mahout,沒印象在讀檔或建立索引的api 03/21 16:00
→ swpoker:建議去看設計樣式中的物件享元(?)及建構方式 03/21 16:49
→ NewSpec:我說的是Mahout中為了大資料而特化的資料類別 03/22 01:04