[問題] data.table可以操作的資料量

[squallscer (羽毛)]

文章分類提示:
- 問題: data.table可以操作多大的資料量？

[問題類型]:
效能諮詢(我想讓R 跑更快)

[軟體熟悉度]:
入門(寫過其他程式，只是對語法不熟悉)

[問題敘述]:
小弟最近有一個差不多3GB的dataset
目前是想將此dataset input到R中利用data.table操作資料

但未來可能會有更大的資料量需要操作
所以想詢問一下版上的各位大大
(1)過去有利用data.table套件操作多大的資料量呢？

過去版上有一篇文章有討論到data.frame使用到dataset兩倍的記憶體量
(2)那麼data.table是否也有這樣的問題呢？

(3)dataset的大小是否也會受限於電腦Ram的大小呢？
最近資料量實在困擾到小弟！

感謝各位前輩耐心看完！


[關鍵字]:
data.table


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.119.125.136
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1425396782.A.746.html
→ andrew43: 讀入後你將進行什麼操作或分析？
→ andrew43: 我剛測一下，data.frame(runif(1.25e+08)) 用了快1GB，
推 andrew43: 但 data.tabe(runif(1.25e+08)) 用了快2GB。
→ squallscer: aggregation,filter,grouping,新增欄位,還有一些些的
→ squallscer: ETL,最後是要產出一個352X352的列聯表
→ andrew43: 什麼原因我不清楚……但data.frame並沒看到多浪費ram。
→ andrew43: 你可以先造假資料做做看。
→ andrew43: 大不了進swap，比較慢罷了。還不行再改用其它方法。
→ squallscer: 那篇文章為"記憶體不足"的回文中看到的～
→ squallscer: 好的！謝謝
→ andrew43: 另外，你說3GB資料，是指文字檔案大小還是浮點數？
→ squallscer: 多數的column皆為文字資料
→ andrew43: 評估時應該換算成實際ram裡頭的資料型態，會準一點。
→ andrew43: 純文字的話，和3GB大概不會差太多了。
→ squallscer: 意思是在R裡看他所佔的記憶體大小嗎？
→ andrew43: 嗯，也可以這樣說啦。我只是想到"1"是1B但1.0是8B的差別
推 lofu: 推文不解釋
→ Wush978: 兩倍的說法來自於R的實作是copy on write，所以兩倍比較
→ Wush978: 安全。否則你一修改物件，就進swap了
→ Wush978: 這只是一個rule of thumb，實際還是和你的操作有關
→ Wush978: data.table能處理的資料量和電腦的記憶體比較有關
→ Wush978: 個人經驗是只要不進swap, 10g ~ 30g 的資料跑的動的
→ squallscer: 有什麼方法知道進入swap呢，電腦ram為16gb,3gb左右用d
→ squallscer: atatable處理起來還是要滿久~
→ andrew43: 什麼作業系統呢？
→ squallscer: OSX 10.10 mbpr 13' RAM: 16GB,感謝前輩！
→ andrew43: 開Activity Monitor, 選Memory，看Swap used
→ andrew43: 正常情況這個量只有幾MB，超過就是爆了。
→ squallscer: 剛剛在做GB left_join GB,swap跑到123mb... 過陣子R s
→ squallscer: R session aborted
→ andrew43: swap用百MB應該都還好。R結束是被你結束還是自動結束的?
→ squallscer: 跑到跳掉@@我正在跑第二次
→ Wush978: 16gb 有 3gb應該很ok, 你可以把記憶體交給R 自己處理
→ Wush978:      用
→ Wush978: data.table的特色是可以在memory中建index加速存取
→ Wush978: 你有適當的建index嗎?
→ squallscer: 我有兩個data.table檔,
→ squallscer: Row：2000萬筆左右 Col：6,index都建在id,試過兩個
→ andrew43: 不知道原po要做的分析，改到database裡做可不可能？
→ andrew43: 不過還要多做不少工作，還要再寫sql。
→ squallscer: 試過兩個語法 ex:dplyr::left_join & Data[,list..]
→ squallscer: 這兩個都陣亡！,回a大,小弟因不熟MSSQL的語法所以才
→ squallscer: load進R來做,也想藉機會看看R的發揮性,我在找找看其他
→ squallscer: 方法, 有更有效率的方式我在回復文章！謝謝兩位前輩！
→ Wush978: index做在left_join的by看看呢?
→ squallscer: 我left_join的by就是放index了～