[問題] 如何同時處理數個function且數次

[jasonhsu14 (14號星期五的傑森)]

版上各位前輩好

小弟因工作上需求遇到一個問題，還麻煩版上諸位前輩協助解惑

問題詳細說明如下

我有一個def main()

這個main主要是每隔n秒，就產生一組變數(var)

接著這組變數會傳入def A, B, C, ...(function有數個)

因為A, B, C,...一個一個處理，會使得所有function還沒跑完下，下一筆變數就產生

因此上網爬了一下多線程 threading

th1 = threading.Thread(target=A, args=(var,))
th1.start()

th2 = threading.Thread(target=B, args=(var,))
th2.start()

th3 = threading.Thread(target=C, args=(var,)) ...
th3.start()

透過像這樣的寫法去處理，但這寫法又會使得Thread一直不斷產生

thread.enumerate() 會看到一堆

所以我想請教是，能否就A B C 各自設為一個Thread

然後當他接受到var時候，就各自自行處理後續動作

基本上需求就像是pyqtSignal那樣

我就發射訊號到事先設定連接的function並處理

但因為我這並非UI介面，所以就暫時不考慮pyqtSignal

也有google到python內建的signal

可是看起來並非我所要的需求(或是沒看仔細而忽視，若有忽視還請指教)

上網google了multiprocess、async方法

以我對這兩方法的認知，似乎派不上用場 (若認知錯也請指教)

因為A, B, C.. 並非複雜計算，卻需要同時處理

所以暫不考慮上述兩方法，而目前只先想到thread

或是版友們知道有甚麼方法可以處理我的需求，還請協助指教

以上，先謝謝花時間閱讀我問題的版友

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.129.205.64 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1646039568.A.B75.html
推 lycantrope: 將N個function跟main拆開寫成worker 用subprocess去
→ lycantrope: 用subprocess.Popen 跑python3 worker.py sys.argv
→ jasonhsu14: 謝謝你回答，我研究一下subprocess
→ Woqeker: 參數改傳 queue
→ f496328mm: 試試看用 rabbitmq、celery 的方式
→ f496328mm: ABC 是三個 worker，main 是 Producer
→ mantour: 把每次產生的var分別append 到queneA, queneB, queneC
→ mantour: thread A, B, C分別跑一個loop
→ mantour: while 1: if queueA.empty(): time.sleep(1) else: var=
→ mantour: queueA.get() ......
謝謝樓上幾位回答，小弟最後是用mantour跟Woqeker提供的方式去處理

1F大大提供的subprocess方法，我有先試過，但我一開始沒講清楚

我的需求可能會有function A需要前一筆或前N筆參數所得到的結果再計算

尚不確定subprocess有無辦法完成需求，所以先暫時用queue的方式處理

f大的rabbitmq，google一下感覺是比較進階版的queue方式，需要些時間消化

目前先以完成需求的前提下，我是先採用queue的方式

後續會再想想這部分可以如何提高執行效率

以上再次謝謝樓上幾位的協助
※ 編輯: jasonhsu14 (220.129.194.166 臺灣), 03/06/2022 14:15:07