Re: [問題] 記憶體不足

[e23882 (呆呆要不要買降有)]

當瀏覽器顯示out of memory的時候把工作管理員開起來

看看是不是一堆chrome還是chromedriver在背景占用資源

這個問題我最近也有遇到

明明在最後有寫driver.quit()但是資源好像都沒有放掉

後來的寫法就變成只new一個chrome driver的實例(instance)

然後重複抓完資料之後第二次再用目前的instance重新送請求


原本資源沒有釋放掉的寫法是這樣寫
while True:
    driver = webdriver.Chrome(...)
    driver.get(url)

    #....do something..
    driver.quit()
    time.sleep(10)

改成

driver = webdriver.Chrome(...)

while True:
    driver.get(url)
    #....do something..
    time.sleep(10)

driver.quit()

記憶體使用率跟硬碟使用率很高的問題就都解決了

你可以試試看對你有沒有幫助



※ 引述《cathy0610 (凱西)》之銘言：
: 請問執行會對網頁重覆執行爬蟲的腳本
: 它在執行一段時間後
: chrome瀏覽器就會顯示out of memory
: 程式就停止了
: (電腦記憶體32g)
: 請問這個問題有辦法解決嗎?
: (除了重啟瀏覽器，還有其他方法嗎?)
: 謝謝

--
噓 timhk108:              雨八
噓 victoryss:             田ㄙ
噓 timhk108:...什麼雷公！再給你一次機會  雨八
噓 mcsam:                                云木
推 timhk108:什麼雲朵！！最後一次！  雨八
噓 victoryss:                       云ㄙ
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.75.101.50 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1603969955.A.D26.html
→ justoncetime: 關掉[Google Chrome 關閉時繼續執行背景應用程式]呢