[問題] Pool and for loop

[Draic5566 (拼錯的狄拉克)]

Code 先奉上:

from multiprocessing import Pool
import numpy as np
Nj=2

Dataold=np.zeros((5,Nj))

def MT(i):
    DataMT=np.zeros((Nj))
    for j in range(0,Nj):
        DataMT[j]=Dataold[i,j]+i
    return DataMT

if __name__=='__main__':
    for k in range(0,2):
        pool = Pool(processes=6)
        list_start_vals = range(0, 5)
        array_3D  = np.array(pool.map(MT, list_start_vals))
        Dataold = array_3D
        print(array_3D[4,0])
    pool.close()

output:
4.0
4.0



問題:
原本預計第二個4.0應該要是8.0，因為認為Dataold = array_3D會把原本定
義的Dataold取代掉，並帶入第二圈的k迴圈，但事實上並沒有。

解: 沒事了...  我改在linux上跑就沒問題
而windows會跑失敗，原因大概是spawn和folk的設定差異
(此文不刪，留給有類似問題的人參考)


描述:
1. 第一個4.0是來自於 k=0,  第二個是 k=1
2. 其中一個解法: 把pool.map 改成pool.starmap，並且把Dataold當作參數
   但實際要跑的code很巨大，Dataold會是一個巨大的array
   因此這樣寫code會跑很慢很沒效率
3. pool.map 會給一個 1*2 的 array
   而np.array(pool.map(....))會把上面的array排成 5*2 array



感謝! 我只有微薄的P幣能夠報恩，謝謝


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 23.242.118.130 (美國)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1628222390.A.580.html
※ 編輯: Draic5566 (23.242.118.130 美國), 08/06/2021 12:05:46
※ 編輯: Draic5566 (23.242.118.130 美國), 08/06/2021 12:21:23
推 aassdd926: 不知道為何如此，但我會試試看 pass 1D array 進去，
→ aassdd926: 不要讓mulitiprocessing 的function access a global
→ aassdd926: variable，然後再把吐出來的1D array疊起來，因為以我
→ aassdd926: 的了解，不同的process memory space不同
→ aassdd926: 我試了一下，因為你有返回DataMT變數，然後重新assign
→ aassdd926: 給Dataold，所以才有被更新，如果直接在MT裡面變更Dat
→ aassdd926: aold的element，在主process 是不會出現變動（因為空
→ aassdd926: 間不同）
→ aassdd926: Btw multiprocessing module 有一些class（ex. Array)
→ aassdd926: 可以讓不同process使用同個matrix，以你的使用情境應
→ aassdd926: 該蠻適合，在subprocess也不用重新定義1D array
謝謝，我也試過用Array把Dataold設定lock=false
但似乎沒用，google許久才發現windows似乎鎖死spawn
※ 編輯: Draic5566 (23.242.118.130 美國), 08/07/2021 00:54:54