[運算] 求助 想從改善程式碼解決out of memory

[ocf001497 (榮)]

大家好

小弟目前正在跑一個計算
流程大致上是這樣

        先產生一個empty matrix
        用for迴圈跑不同的參數 ex. for x = 0 : 0.01 : 0.12
        每次都解一個大型矩陣
        大概10000x10000
        每次會解出10000個eigenvalue
        接著把這個10000個eigenvalue用column方式儲存到empty matrix中
        所以跑完之後那個empty矩陣就會變成

        [[v_0] [v_0.01] [v_0.02] ...  [v_0.12] ]

        每個v都代表一個 10000x1 的column

        接下來再把這個矩陣的"每一個row"依次對x = 0 : 0.01 : 0.12 作圖
        所以會畫出10000條線

原本10000x10000的case我的電腦還是可以跑
但再變大幾倍後就會出現out of memory

我想了幾種解決方法，但不清楚怎麼執行，請各位大大幫幫我

(1)
我想說out of memory應該是因為最後那個empty matrix會變超大
所以想說能不能自行產生10000個empty matrix
每次解完一次10000x10000矩陣的eigenvalue後 把column中每個元素依次存在
那10000個empty matrix中
這樣的話最後就會有10000個矩陣
但是每個矩陣都是小小的row (ex. 0:0.01:0.12 大概才1*13的 row array而已)

我希望程式碼大概長這樣


        for i = 1 : 1 : 10000 ;
                造出"名字是 Ai "的empty matrix ;  ←這邊不會用orz
        end

        for x = 參數 ;
                解10000x10000的矩陣
                解出10000x1的eigenvalue column vector(假設叫他v)
                把每個元素依次存在對應的Ai empty matrix中

                for j = 1 : 1 : 10000 ;
                        Aj = [Aj v(j)] ;  ←這邊不會用orz
                end
        end

不知道這樣把矩陣拆成10000個小矩陣的方法能不能解決

(2)
研究室好像有大型電腦 但我的project以理論推導為主 幾乎沒碰過
如果用大型電腦幫我跑的話 能不能用我最一開始的流程呢?
就是直接存一個超大容量的矩陣 再一次對個別row作圖
我是希望最後最上面那個流程可以處理70000x70000的矩陣
不知道大型電腦有沒有辦法解決out of memory的問題


小弟仍在學習matlab
關於以上幾點問題希望各位指教

謝謝

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.43.111.160
※ 文章網址: https://www.ptt.cc/bbs/MATLAB/M.1498886118.A.FA1.html
※ 編輯: ocf001497 (114.43.111.160), 07/01/2017 13:18:57
→ worcdlo: 把資料存硬碟，直接對硬碟做讀寫，你的ram放不下這麼大
→ worcdlo: 的資料，可惜這樣一定很慢
QQQ還是說只能求助大型電腦?
※ 編輯: ocf001497 (114.43.111.160), 07/01/2017 13:29:26
所以w大的意思是就算修改程式碼也沒辦法直接跑嗎?
※ 編輯: ocf001497 (114.43.111.160), 07/01/2017 13:32:23
推 sunev: 先學會怎麼估計一個矩陣所佔的記憶體大小吧
→ sunev: 首先每個矩陣元佔8 bytes，如果是複數還要再乘2
→ sunev: 所以一個10000*10000的矩陣就需要
→ sunev: 10000*10000*8 bytes = 8*10^8 bytes = 763MB
推 sunev: 70000的方陣就要36.5GB
推 sunev: 現在組一台128G的PC不是太困難的事情，但速度也是個問題
→ sunev: 解eigenvalue是n^3，你把解一萬的時間乘上343倍就是解七萬
→ sunev: 的時間，自己考量吧。一個比較合理的做法是只看前幾個
→ sunev: 會快很多。
推 profyang: 問題是那些point都要畫上去那個圖本身就很大了 除非畫好
→ profyang: 幾條線就存成點陣圖 然後新的點在畫上去 總之應該不可能
→ profyang: 所有線一次用for loop把他plot出來
推 profyang: 然後另外一個更重要的是 你幾萬條線在同一張圖上是要怎
→ profyang: 麼讓人看清楚啦...
哦哦不好意思忘記說，我想PLOT出來的東西就是要呈現
超多線全部疊在一起的連續感，因為有特殊的東西可以看

所以真的只能用大型電腦跑嗎  還是也無法QQ
※ 編輯: ocf001497 (114.43.111.160), 07/01/2017 14:36:54
還想請問一下存成點陣圖具體的做法是啥呢 謝謝!!
※ 編輯: ocf001497 (114.43.111.160), 07/01/2017 14:39:00
推 profyang: 那就照1F說的 分好幾組存起來 大概1400個row存一個檔?
→ profyang: 然後每次畫1400條線上去 畫好後存成點陣圖 之後再把新的
→ profyang: 1400條線畫到之前存的點陣圖上
感謝回覆!
但現在我有點卡住的地方是 因為我每次對角化出來的東西都是10000x1的column
如果要畫圖的話實際上是畫
[ [v_0] [v_0.01]  ...  [v_0.12] ]這種12個10000x1 column排在一起後的row
也就是說我沒辦法在做一次計算就存一個row
不知道這該怎麼解決呢
謝謝!
※ 編輯: ocf001497 (114.43.111.160), 07/01/2017 14:45:43
→ profyang: 用saveas存成.bmp或.png檔然後用imread讀吧
→ profyang: plot 1400條線=>saveas成.bmp=>清除內存=>imread剛剛的
→ profyang: .bmp=>plot新的1400條線=>saveas新的.bmp覆蓋過去.....
另外out of memory我想說是不是因為那個要解的矩陣太大
而不是因為最後那個[ [v_0] [v_0.01]  ...  [v_0.12] ]太大
因為這個比要解的10000x10000的矩陣小很多
謝謝
※ 編輯: ocf001497 (114.43.111.160), 07/01/2017 14:49:12
推 profyang: 所以要存到硬碟阿 每次解出一組v 然後這些v每1400個就存
→ profyang: 一個檔 然後算出新的v 再每1400個元素存起來到剛剛那些
→ profyang: 檔案中
→ profyang: 喔對耶 我忘記你要解eigen的矩陣本身就70000*70000了...
哦哦! 感謝! 大概知道概念了
但想請問一下如果是70000x70000是不是連寫出這個矩陣都有問題...
※ 編輯: ocf001497 (114.43.111.160), 07/01/2017 14:55:34
推 profyang: 是阿...除非你的70000*70000矩陣式很多零的矩陣可以用
→ profyang: sparse矩陣可能還有辦法
→ profyang: 如果是general的矩陣可能就無法了
哦哦! 我的矩陣應該蠻多零的!
所以可以用一樣的方式 只是我把矩陣建起來的時候不用正常的矩陣
用sparse就可以嗎
謝謝
※ 編輯: ocf001497 (114.43.111.160), 07/01/2017 15:02:12
推 profyang: https://goo.gl/sa1wzv 可能可以試試看virtual memory吧
→ profyang: 但這個我自己沒試過就是了 原理大致上好像是拿硬碟當ram
→ profyang: 來用?不是很熟
推 profyang: 喔可以用sparse那就用sparse吧
好！ 我來試試 感謝
※ 編輯: ocf001497 (49.214.16.125), 07/01/2017 15:25:06
→ LiamIssac: 用sparse要確定0夠多 不然會更慢 以前有問過這問題
→ LiamIssac: 應該說不會更有效率
推 imafsb: plot很吃記憶體，寫迴圈有作圖的話作完要把handle關掉
推 imafsb: 我都用export_fig取代saveas存圖