[問題] HTTP Error 500???

[darklimit ()]

在爬行資料的過程中

三不五時爬到一半的時候

會出現錯誤

HTTPError: HTTP Error 500: Internal Server Error

但在程式碼上也有寫了random.randint(5, 10)

隨機停止暫停後再繼續

為什麼還是有這樣的狀況發生?

是時間還要拉長嗎?!

--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 140.135.114.123
→ darklimit:會是爬行資料太多嗎? 還是將爬行資料拆開跑???
→ kdjf:理論上500是指server自已出的問題,但也可能是對方故意放的
→ darklimit:但都已經有暫停再繼續，還會back http error?
→ qwertmn:server 錯誤..不代表她已經知道你是爬蟲..
→ qwertmn:再來就是如果你delay 是在吃到500之後才下XD
→ qwertmn:通常檔不會只檔幾秒鐘的ˇˇ
→ darklimit:知道是爬蟲?←這句話不太懂?!所以要下在500之前嗎?!