→ djshen: 不懂和multiprocessing有什麼關係 04/27 02:39
→ MARGHT: 的確沒關係 04/27 03:24
https://ideone.com/r139RS
拿掉multiprocess, 跑起來就0.1x秒,不受self.aa影響
推 TuCH: 開multiprocess 成本很高 開了是要丟大量運算 平行化的效果 04/27 18:06
→ TuCH: 才顯現得出來 04/27 18:06
推 WusoAiwen: 沒有大量運算用multiprocess反而會變慢 04/27 19:48
問題是慢得很奇怪,應該跟沒有大量運算用multiprocess反而會變慢無關
吧(看第6點)?
※ 編輯: tsaiminghan (220.136.107.184 臺灣), 04/27/2020 19:58:55
推 extraymond: 在linux下面跑,最花時間的是24行,拿掉就0.1x秒 04/27 21:45
推 extraymond: 不過滿不固定的,你原始的code有時候也會0.1X秒 04/27 21:53
→ extraymond: 如果你把self.func1移出a,最慢的情況會變成0.3X 04/27 21:55
→ extraymond: 印象位置multiprocess你傳object進去,他會複製整份 04/27 21:57
→ extraymond: a,包含a.test 時間差異應該從這邊找應該會有些結果 04/27 21:57
我在windows上也試了,如你所說,如果把fun1移出class,會快很多。
我再試試看,謝謝。
→ djshen: map的時候會pickle method, 剛好你傳的是bound method 04/27 22:55
→ djshen: 會把整個object一起pickle 然後傳到child process 04/27 22:55
→ djshen: 又剛好pickle是在get的時候才call 04/27 22:55
→ djshen: 你可以試試看print(len(pickle.dumps(self.func1))) 04/27 22:56
→ djshen: 一開始想成copy on write 04/27 22:58
謝謝,我去找找pickle的資料看看
總結上面兩位的說法,時間是花在pickle obj,所以如果self.aa = OpenCC(..)時,連
OpenCC也會被pickle,所以如果有加join(),等multiprocess跑完,才有OpenCC,所以
OpenCC沒有被pickle。
因此multiprocess傳入的參數要盡量簡單,才不會有這問題囉?
※ 編輯: tsaiminghan (220.136.107.184 臺灣), 04/27/2020 23:42:02
→ AndCycle: 你要考慮跑 process 起來的代價跟考慮他會活多久 04/29 00:08
→ zerof: 樓樓上正解 04/30 23:54