Re: [問題] 記憶體不足

[Wush978 (拒看低質媒體)]

※ 引述《lianhua (蓮華)》之銘言：
: [問題類型]:
: 程式諮詢
: [軟體熟悉度]:
: 使用者
: [問題敘述]:
: 因為我需要跑大量的貝氏模擬，大迴圈次數500次
: 大迴圈裡面的小迴圈20000次
: 每一次小迴圈都需要生成一個5XM (M大概100左右) 的矩陣
: 但是我的電腦大迴圈大概都跑個200次左右就會跳出
: 錯誤: 無法配置大小為 526.2 Mb 的向量
: 這種訊息 請問是我的電腦記憶體不足，還是語法太拙劣？

理論上演算法需要的記憶體，都是可以事先評估出來的。

我先假設你迴圈中生成的矩陣都要保留在記憶體。

一個numeric value需要 8 bytes 的記憶體空間，

這樣的話，一個小迴圈需要 500 * 8 bytes 的空間，大約 4 kb。

一個大迴圈要20000 次小迴圈，所以就是 80000 kb ，大約是 80 mb。

500次大迴圈需要 40000 mb, 大約是 40 Gb 的記憶體。

你的電腦有這麼多記憶體嘛？

或是你需要保留每次生成的矩陣嘛？有沒有確實清理掉？

另外R 在記憶體的使用上還有另外一個問題：

(請看下面的說明)

: [程式範例]:
: 程式很長，所以僅貼部分
: N = 500
: L0 = numeric()
: L1 = numeric()
: L2 = numeric()
: Alpha1 = numeric()
: Alpha2 = numeric()
: for(k in 1:N){
: set.seed(k)
:         ．
:         ．
:         ．
: 這裡是我懷疑出錯的部分，因為如果我不是生成隨機矩陣的話
: 就不會有這個問題
: iter = 20000
: repeat{
: ### step 1 fill up Z ###
: g1 = function(x){
:         ((l1+l0)*c1*(x^(c1-1)))/((l1+l0)*c1*(x^(c1-1))+l2*c2*(x^(c2-1)))
:         }
: g2 = function(x){
:         (l1*c1*(x^(c1-1)))/(l1*c1*(x^(c1-1))+(l2+l0)*c2*(x^(c2-1)))
:         }
: Z1 = matrix(,ncol=2,nrow=length(t1))
: Z2 = matrix(,ncol=2,nrow=length(t2))
: for(i in 1:length(t1)){
:         Z1[i,] = rmultinom(1,1,c(g1(t1[i]),(1-g1(t1[i]))))
: }
: for(i in 1:length(t2)){
:         Z2[i,] = rmultinom(1,1,c(g2(t2[i]),(1-g2(t2[i]))))
: }
: }

使用 Z1[i,] = xxx

這種語法時，R 會複製記憶體，也就是你可能需要Z1兩倍的記憶體，

所以如果Z1很大的話，也是會出問題。

: 想請各位先進為我解答，感謝～

你可以把你的需求寫的更清楚，這樣我還可以針對你的問題提供建議喔。

--
歡迎到ptt R_Language版分享R 的相關知識

歡迎加入 Taiwan R User Group : http://www.facebook.com/Tw.R.User

聚會報名 http://www.meetup.com/Taiwan-R/
聚會影片 https://www.youtube.com/user/TWuseRGroup

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 61.224.201.62
※ 編輯: Wush978         來自: 61.224.201.62        (06/22 21:39)
推 lin15:不知道W大對R處理大型資料庫(記憶體吃不下)有沒有甚麼建議?
→ clickhere:不要只用一台機器處理.
推 lianhua:感謝大大解答，那我要怎麼確實清理記憶體呢？
→ lianhua:我生成的矩陣只有在一次的小迴圈裡有用下一次就是新的了
推 lianhua:就是一個大迴圈20000個矩陣只有在各自的迴圈裡會用到。
→ celestialgod:你就把生成的矩陣rm掉 再加個gc()吧
→ celestialgod:在大迴圈的最後
→ Wush978:通常名字蓋掉會自己gc 耶，會不會問題不在這？ :Q
→ Wush978:你可以用object.size來看物件所佔用的記憶體
→ celestialgod:好像是rm才不會清記憶體...原PO可能需要PO程式
→ celestialgod:才知道要怎樣修改