[問題] 如何處理這麼大數量的迴圈

[QT14537 (小花泥)]

目前需要建立一個非常大的矩陣
2^16*2*16的
內容是要用外面的迴圈做XOR，總共會有四層2^16的巢狀迴圈
42億筆資料，大概跑到9億記憶體就爆了。
想問各位大大，我要如何處理大range的迴圈，才能順利的跑出矩陣。
謝謝各位大大

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 115.82.225.191
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1508654890.A.41F.html
※ 編輯: QT14537 (115.82.225.191), 10/22/2017 14:49:06
推 lc85301: 怎麼有一種要破密碼的fu XD
→ james732: 你的資料沒有辦法分割處理嗎？
→ QT14537: lc大大 是的最近在學習原理
→ QT14537: james大大  對不起切割的意思我不太瞭解，可以跟我說一
→ QT14537: 下嗎，
→ QT14537: 表內的值是要是如果條件符合他就會+=1 最後要找次數多
→ QT14537: 也就是高機率的
推 TitanEric: 想問原po是要用DP的方式解嗎 如果是 有機會減少記憶體
→ TitanEric: 用量
→ QT14537: eric大大 目前狀況是我連表格都見不出來qq 要建出來之後
→ QT14537: 運算才能跑查最大機率的部分
→ a0919610611: 寫檔案 ，把硬碟當記憶體用 ，最簡單暴力的方式
推 oToToT: 2^32 ->10^9聽起來就很可怕
推 TitanEric: 寫檔方式不錯
推 chen1025: 可以用分散式處理 要把計算空間切割好
推 alan23273850: 如果你有中研院資訊所的server可以善用
→ alan23273850: 那邊的memory都超大的，上看4.500GB，前提是你要當
→ alan23273850: 過intern，或者找其他類似的server