[問題] 大量數據(大矩陣)載入function的處理

[aj4rmp4 (老穆)]

大家好


請問當一個很大的矩陣(幾10萬 X 幾千)要載入函式裡做某些分析處理

在執行上要花很長時間

有沒有甚麼技巧可以縮短函式載入和回傳的運行時間?

因為BOSS在做一個處理大規模數據的演算法

所以在中間處理運算上不希望被重複的函式傳遞去影響演算法效率

查了相關處理大數據的問題都是在源頭讀取資料

而我們的數據在源頭於主程序已經載入成大矩陣

所以不考慮頭尾I/O的運行速度

先謝謝各位



--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 140.113.59.229
→ s8911124:call c function去跑計算的地方，如果還太慢
→ s8911124:對輸入資料做sampling或是降維
→ aj4rmp4:不好意思我再補充。現在先不考慮計算過程，只是單純的丟
→ aj4rmp4:大矩陣到function的程序。是不是把大矩陣轉成數個小矩陣
→ aj4rmp4:在丟到函式後重組回大矩陣，這樣會比直接丟大矩陣快嗎?
→ FET:如果組合回去結果的算法是線性的，通常分解開來會比較快
推 summitstudio:能不能拆矩陣(平行化)應該要看你的演算法決定？
推 niwat:改丟指標(byref)的方式, 然後比較不同function處理資料速度
→ niwat:這樣可以嗎?