[問題] multiprocessing 的 Pool.map

[zps (笑看人生)]

系統：win7 x64 sp1
python：3.5.1

Pool.map 看官方文件是 blocking

所以應該可以印出 0~29 的所有數字

但發現，若 print 有設定 end，行為會變成是 blocking

請問這是 bug 嗎？感謝

程式碼如下

from multiprocessing import Pool
import time


def f(x):
    time.sleep(0.1)
    # NG
    print(x, end=' ')
    # OK
    # print(x)


if __name__ == '__main__':
    pool = Pool()
    pool.map(f, range(30))

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.174.136.246
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1492876229.A.D58.html
※ 編輯: zps (1.174.136.246), 04/22/2017 23:51:16
→ zerof: 不是
→ zerof: print 預設的 file = sys.stdout 是共用的, 設 flush=True
→ zerof: 可以解決這個 racing condition
→ zps: 請問是否可以想成，print 已執行，但還來不及輸出
→ zps: 程式就結束了，所以若有加上 join 會有效
→ zps: 可是為何 print(x) 仍有效呢？
→ s860134: zerof 的意思是指說當有一個以上的行程同時跑到 print
→ s860134: 時，會變成序列化的輸入，造成看起來是 blocking
→ s860134: 和你有沒有加 join 應該是沒關係~
→ zps: 印出不連續這部分我了解，但我的問題主要是印不到30個就結束
→ zps: 理論上，pool.map 應該都要等到 subprocess 跑完才會結束
→ zps: 但我實際 run 的結果，有時卻是不到30個就結束了
→ zps: 但 print(x) 卻可行，後來試過加上 flush 也是可行的
→ s860134: 你可以做一個實驗，每個 process 都印自己的 pid
→ s860134: os.getpid() 個人猜測是發生同時寫入相互覆蓋
→ zerof: 參考 #1OzP7wJp (Soft_Job)
感謝兩位，以下是我實驗的結果

跑出來的有三種結果，CPU 是雙核的，所以預設會產生兩個 subprocess

為求簡單，我改成 range(5)，然後印出 pid

1. 沒印出任何東西
2. 4376 4376 4376 (印出三個 pid)
3. 5772 5772 (印出二個 pid)

就我個人的理解，因 print 會先 buffer，之後才會一併顯示在螢幕上

2 & 3 應該是相互覆蓋所造成的，但若是相互覆蓋造成的

理論上改為以下的 code 應該也是同樣的情況，加上 close() & join()

pool = Pool()
pool.map(f, range(5))
pool.close()
pool.join()

此時的結果會有兩種

5388 5388 5388 3188 3188 (印出五個 pid，前三後二)
5156 5156 5980 5980 5980 (印出五個 pid，前二後三)

卻可以正常顯示五個 pid，這裡跟我前面的推論矛盾了

而 1 的部分，完全沒印出東西，也是我覺得納悶的地方

在 win7x32, Python 3.6.1 下，也有一樣的情況

請問是否有什麼地方沒考慮到呢？
※ 編輯: zps (1.175.122.168), 04/23/2017 21:58:40
→ zerof: 明天再找時間回你...覺得把問題複雜化了QQ
→ zps: 太感謝了 Orz