[問題] 瀑布式網頁爬蟲問題

[superpaden (六四坦克蹦蹦蹦)]

請問各位30cm Ecup鄉親們:

小弟最近在爬蟲使用selenium爬蟲時出現了一點障礙，就是
當瀑布式網頁下滑太多時，電腦的記憶體會炸開。目前的解決方法是在chrome options 添
加--disk-cache-dir來指定存放在外接硬碟。

可是電腦在跑的時候，雖然硬碟中有東西進來，但是同時電腦的ram也在飛速流失

拜託各位大老們指點我這個菜逼八

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.136.149.183 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1612198980.A.C3B.html
→ x94fujo6: 用JS刪掉抓完資料的element?
推 supremebboy: 用requests +bs4 爬
推 ToastBen: a大 他可能要爬動態資料吧？
→ superpaden: 對的 我要爬動態資料
推 aidansky0989: 一樣用requests爬，盡量不要用s
推 vi000246: 用request吧
推 supremebboy: 瀑布式大部分都是下拉時再發請求去拿資料
→ supremebboy: 去看開發者工具 用requests 發出一樣的請求
→ taipoo: 用selenium爬蟲很慢的
→ TakiDog: 你要懂網路，網路才會懂你，requests香噴噴，沒極端反爬
→ TakiDog: 需求不要Selenium