[問題] 記憶體計算

[clansoda (小笨)]

Hi 各位好 我目前想要擴增一個data.frame做machine learning

我想要弄進兩千個feature因此想要知道到底會吃多少記憶體

我知道object.size可以知道當前的物件吃多少記憶體

假如這個物件還沒弄出來 只在我腦裡面跑

有辦法透過row的數量跟col數量來推估記憶體使用量嗎

我怕寫一寫後來沒記憶體可以跑很尷尬

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.175.247.48
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1481870720.A.F18.html
推 HumuHumu: Memory required=no. of column * no. of row * 8 bytes
→ HumuHumu: /numeric
推 andrew43: 可以，但也記得估運算過程需要的量。
→ clansoda: 我有google到這個 那英文跟中文怎麼計算
→ clansoda: 我只是用一個直式的data spread as橫式的data
→ clansoda: 這樣過程會多耗記憶體嗎 會用data.table 應該不會copy吧
→ clickhere: 有個package, memuse, 可以預估.
→ Wush978: 你要看物件型態
→ Wush978: integer 4 byte, numeric 8 byte, logical 應該是 4?
→ Wush978: factor 主要是 4byte + levels 的量
→ Wush978: character 的話，一個字符1 byte, 你要用nchar估計每個
→ Wush978: element的平均長度後做計算
→ Wush978: 最後估計你會用到多少個integer, numeric, logical, ...
→ Wush978: 這樣就可以得到大致上的記憶體用量