[問題] 爬蟲突然掛掉

[loser113 (洨大魯蛇ㄍ)]

工具:
python 3.8
selenium
webdriver.Chrome()

情況:
開多個 console  爬同個網站不同頁面

今天早上看發現有些掛掉 幾乎都是同個時間 但有些還是繼續爬

程式碼都依樣 頁面不同

錯誤地方都不太一樣

driver.refresh() 比較多


錯誤原因

NoSuchWindowException: no such window: window was already closed
  (Session info: chrome=87.0.4280.141)

嘗試輸入指令

driver
Out[23]: <selenium.webdriver.chrome.webdriver.WebDriver
(session="98fcf588b7cc41cca659c46b9e35424b")>

driver.window_handles
Out[26]: []


driver.page_source
NoSuchWindowException: no such window: target window already closed
from unknown error: web view not found
  (Session info: chrome=87.0.4280.141)

找不到頭緒怎麼解

打 driver 仍然有訊信

但是執行一些動作就錯誤

因為有些其他程式還在執行 沒有中斷

想問看有沒有寫法可以避免


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.230.244.130 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1612402209.A.68E.html
推 stillcolor: 是不是因為fail就關閉browser啦？資訊有點少欸～
→ loser113: Chrome 跟頁面都在
→ loser113: 頁面是空白
推 taipoo: 你是不是觸發網頁的反爬蟲機制，且你爬的是什麼網頁呢？
→ vi000246: 我猜是樓上講的吧 過一天再試試看
推 stillcolor: 頁面都空白的話，應該不是selenium的問題吧
→ stillcolor: 直覺也是4F講的那樣
→ liton: 找個免費的爬蟲軟體批量爬看看會不會被擋
→ loser113: 反爬就不得而知 像 google 還有要你選圖
→ loser113: 因為同個網站 前一個月沒有這種問題 這個月多放個幾個
→ loser113: 帳號去爬 目前找到解法是多寫個sleep在動作
→ liton: 網站三不五時改個頁面就能搞死你了
→ koshi0413: 你一次多隻爬同一個網頁,是不是IP被偵測到
推 fiorentino: 有可能你爬的那個網頁內容就是不存在
→ fiorentino: 你打開瀏覽器直接貼上那個網址就知道是不是這個原因
→ chickengod: https://stackoverflow.com/questions/61683881/
→ chickengod: 有人提到可能是網頁開了新視窗 然後關了原本的
→ chickengod: 導致handle指向一個已經關閉的視窗
→ chickengod: 解法有可能是這個
→ chickengod: https://stackoverflow.com/questions/51775122
→ chickengod: 指向一個新的視窗 忽略以下exception
→ chickengod: NoSuchWindowException, NoSuchElementException
今天沒有異狀

我情況是 一個console 對應一個driver 執行程式 沒有關閉網頁指令

有關閉行為 就是點裡面的連結 跑出彈跳視窗 用 find xpath 去把彈出來的視窗關閉

因為我理解是 某種原因 切斷 網頁跟程式的連結 因為網頁還在 但變成空白畫面

程式變成找不到那頁 比較像是網頁當掉 那就應該是 對方網站 OR CHROME 問題

內容我在研究一下 感謝

推 taipoo: 樓上說得也很有可能會發生的
※ 編輯: loser113 (36.230.244.130 臺灣), 02/05/2021 09:25:11
※ 編輯: loser113 (36.230.244.130 臺灣), 02/05/2021 09:27:27
推 stillcolor: 話說你空白網頁，有帶入url嗎？
→ loser113: 有 就是要爬的那頁網址
推 stillcolor: 會不會是browser memory leak就被砍掉了？我好像碰過