[問題] R 記憶體用量

[f496328mm (123)]

文章分類提示:
- 問題: 當你想要問問題時，請使用這個類別。
        建議先利用 google 爬文，如輸入
        「想查詢的關鍵字 site:www.ptt.cc/*/R_Language/」。

[問題類型]:
程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來)

[軟體熟悉度]:
入門(寫過其他程式，只是對語法不熟悉)

[問題敘述]:

http://imgur.com/4UN3EJk

如圖

我跑的物件總共也才不到6gb

可是看系統監控   卻已經有17.6gb在背景了

到底是為什麼阿？？   而且我也執行過gc()了

我原本打算轉換所有的data , 目前因為ram的關係

只能轉1/4部份  有點麻煩  有什麼辦法可以解決？

另外

如果我改到 python 去做轉換  會比較省ram嗎？

謝謝

ps: 我是把圖片轉換成 pixel



--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.42.103.52
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1490366877.A.D7F.html
※ 編輯: f496328mm (114.42.103.52), 03/24/2017 22:48:47
→ andrew43: 在R上承載資料的是什麼物件或類別？整數類矩陣嗎？
→ andrew43: 省不省記憶體應該還是和實做過程比較有關係。
→ andrew43: 可以的話，提供一個可重複的虛假例子。
舉例來說  一張圖片 480*640*3 這樣

因為我想到python做vgg16  所以先用R整理成 224*224*3

但只我轉換5000張圖片後   記憶體就快爆了
※ 編輯: f496328mm (114.42.103.52), 03/24/2017 22:57:00
→ celestialgod: 你怎麼寫？
→ andrew43: 如果是迴圈，每次處理完把物件存RData再rm()掉。
→ andrew43: 把資料輸出成實體檔案，之後再餵給python
→ andrew43: R的整數似乎都是32bit，此時是比較浪費，但應該有辦法處
→ andrew43: 理才對。
我先抓好每個檔案的位置   然後取5000個出來

之後一次轉一張圖片   最後整理成一個data.table出來這樣

用sapply這樣去做


python的整數是不是佔比較少ram?

因為我train有2萬張圖片   但是test有將近8萬張圖片QQ
※ 編輯: f496328mm (42.78.113.162), 03/24/2017 23:27:05
→ celestialgod: 重點是轉的過程...
→ celestialgod: 你應該是在轉的過程過了什麼操作才會用到那麼多RAM
→ celestialgod: 你給這樣的資訊，我也沒辦法給什麼建議
這是function
https://gist.github.com/f496328mm/a342cb39e8ae3b84f01be29a46bb81da

這是main

https://gist.github.com/f496328mm/44116adf79356f01e761cfe72627d213

※ 編輯: f496328mm (114.42.103.52), 03/25/2017 00:28:24
→ celestialgod: train.variable=cbind( img.name , train.variable)
→ celestialgod: 瓶頸在這行
→ celestialgod: 還有  colnames(train.variable)
→ celestialgod: data.table不是這樣用的... 你這樣會做deep copy...
ok  感謝  我晚點改改看
※ 編輯: f496328mm (114.42.103.52), 03/25/2017 01:09:52