[問題] 大數據要匯入R

[kenfossil (阿捲)]

[軟體熟悉度]:
入門(學習約莫1年)

[問題敘述]:
有一筆（12968*11046）的大型矩陣（0和1組成），使用read.table一次讀進R時，出現記
憶體不夠問題！

若想要一次一列的讀取進來後，做分析完後，再讀取下一列資料，以這樣一列一列的逐步
分析！


先感謝各位版友！！



--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.139.199.249
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1478594207.A.8A5.html
※ 編輯: kenfossil (223.139.199.249), 11/08/2016 16:37:17
→ andrew43: read.table 可指定 nrows skip colClasses 可能有幫助。
→ andrew43: 或是直接改用 data.table::fread() 看看
→ kenfossil: 感謝andrew43大大！ 有試出來了！！
→ andrew43: 也可以試試 bigmemory::read.big.matrix()
→ andrew43: 其實你的資料其實不算很大…電腦可用的記憶體是否不多了
→ Wush978: 正常應該吃1G記憶體，這可以算得
推 f496328mm: bigmemory套件不錯用  可以搜尋cywhale的文章
→ f496328mm: 目前我都用這個   處理3g左右的data