→ kenduest: requests 的 session 你可以存起來後續載入使用就好 03/10 19:22
→ f496328mm: 我用 rabbitmq + celery，雲端架 worker 03/10 22:01
→ f496328mm: worker 一個月5鎂，可以開很多個，蠻便宜的 03/10 22:01
→ TakiDog: 存session/存cookie 03/10 22:22
我目前在使用Django celery multiple worker做爬蟲
shared memory的部分使用cache & db
但如果遇到requests session 或 socket連線
就無法使用cache了
變成每個worker都要登入一次
有什麼建議的方法嗎
感謝指導!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.24.100.97
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1552206815.A.4B8.html