推 GoalBased: 一個不夠就開兩個? 01/09 12:06
→ penguin7272: 感覺你也會需要 async 01/09 12:26
→ jimmy15923: 請問async要怎麼應用在我這個例子比較識當呢? 01/09 12:39
各位前輩大家好
小弟是python 新手
目前在抓API資料遇到速度的問題
API是根據不同id吐資料出來
code如下
url = "http://123456789/"
id = "jimmy"
for id in ID:
response = requests.get(url+id)
info = response.json(encoding = "utf-8")
##save info
我的ID是個50萬筆的list，如果僅用一個跑的話要跑好幾天
最簡單的做法就是把ID切成好幾分，在開好幾個script同時跑
但是想請教各位高手們如何應用multiprocess 抓取API的資料?
讓抓取的速度在快一點
先謝謝各位了!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.109.21.100
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1483932740.A.DAA.html