看板 Python 關於我們 聯絡資訊
程式碼在 https://ideone.com/3ZTGat opencc是下面這個版本 https://pypi.org/project/opencc-python-reimplemented/ 環境是python3.8, windows8. #1 result = [] #2 for i in range(total): #3 res = pool.apply_async(self.func1, args=(i,)) #4 result.append(res) #5 pool.close() #6 #pool.join() #7 self.aa = OpenCC('s2twp') 1. 如果self.aa有設值,程式跑完需要16秒 2. self.aa拿掉的話0.13秒就跑完 3. 如執行pool.join(),結果是0.18秒 4. 把#7把放pool.join前面,並執行pool.join(),結果16秒 5. 把#7加到__init__,並執行pool.join(),結果16秒 6. 把self.aa = OpenCC(..)改成 aa=OpenCC(..), 0.1x秒 感覺只要apply_async的任務跑完前,把OpenCC指給self,就會卡卡的, 問題感覺是出在opencc, 請問有可能是什麼原因? opencc只有一隻py檔,就下面這隻 https://github.com/yichen0831/opencc-python/blob/master/opencc/opencc.py -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.136.87.190 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1587924129.A.4A3.html
djshen: 不懂和multiprocessing有什麼關係 04/27 02:39
MARGHT: 的確沒關係 04/27 03:24
https://ideone.com/r139RS 拿掉multiprocess, 跑起來就0.1x秒,不受self.aa影響
TuCH: 開multiprocess 成本很高 開了是要丟大量運算 平行化的效果 04/27 18:06
TuCH: 才顯現得出來 04/27 18:06
WusoAiwen: 沒有大量運算用multiprocess反而會變慢 04/27 19:48
問題是慢得很奇怪,應該跟沒有大量運算用multiprocess反而會變慢無關 吧(看第6點)? ※ 編輯: tsaiminghan (220.136.107.184 臺灣), 04/27/2020 19:58:55
extraymond: 在linux下面跑,最花時間的是24行,拿掉就0.1x秒 04/27 21:45
extraymond: 不過滿不固定的,你原始的code有時候也會0.1X秒 04/27 21:53
extraymond: 如果你把self.func1移出a,最慢的情況會變成0.3X 04/27 21:55
extraymond: 印象位置multiprocess你傳object進去,他會複製整份 04/27 21:57
extraymond: a,包含a.test 時間差異應該從這邊找應該會有些結果 04/27 21:57
我在windows上也試了,如你所說,如果把fun1移出class,會快很多。 我再試試看,謝謝。
djshen: map的時候會pickle method, 剛好你傳的是bound method 04/27 22:55
djshen: 會把整個object一起pickle 然後傳到child process 04/27 22:55
djshen: 又剛好pickle是在get的時候才call 04/27 22:55
djshen: 你可以試試看print(len(pickle.dumps(self.func1))) 04/27 22:56
djshen: 一開始想成copy on write 04/27 22:58
謝謝,我去找找pickle的資料看看 總結上面兩位的說法,時間是花在pickle obj,所以如果self.aa = OpenCC(..)時,連 OpenCC也會被pickle,所以如果有加join(),等multiprocess跑完,才有OpenCC,所以 OpenCC沒有被pickle。 因此multiprocess傳入的參數要盡量簡單,才不會有這問題囉? ※ 編輯: tsaiminghan (220.136.107.184 臺灣), 04/27/2020 23:42:02
AndCycle: 你要考慮跑 process 起來的代價跟考慮他會活多久 04/29 00:08
zerof: 樓樓上正解 04/30 23:54
jn8029: https://tinyurl.com/y9bazr5g 05/04 22:00