看板 Python 關於我們 聯絡資訊
我現在用爬蟲去抓資料 可是有時候在下載還沒完成之前 他就又去重新找新的資料 然後就會少抓一筆資料 然後就會跳過一筆資料 害我的資料常常會有缺少 請問一下 selenium 有沒有 "檔案下載完成之後 再做接著的動作" 這種機制 謝謝 -- ◢███◣ 真是太令我興奮了,教授BOY~~ █████ █▉◥█◤ 覆蓋一張空白考卷在桌上 結束這學期 ██ ◤ \ ◤◤╲╰┤ ㊣ justlasai -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.134.51.64 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1604736948.A.C96.html
pig98520: 加一個檢查檔案是否存在的機制? 11/07 17:41
MAGICXX: 可是 我下載的檔案都是隨機的亂碼 有辦法判別嗎? 11/07 18:00
MAGICXX: 而且其實都很小 他們下載很快 點了下載之後 因為他伺服器 11/07 18:02
MAGICXX: 端處理下載會有延遲 才會發生下載錯誤的問題... 11/07 18:02
lambo: 已經知道延遲 不然就sleep一下? 11/07 18:06
MAGICXX: 設太短會沒用 設太長等很久... 11/07 18:27
MAGICXX: 我剛剛試了一下 大概200~300個檔案會跳一次 很討厭.... 11/07 18:30
andy19960407: 直接先判定好要下載哪些資料 在for 起來載勒? 11/07 22:49
Pieteacher: time.sleep() 11/07 22:52
ripple0129: 土炮一下,搜索下載資料夾檔案有沒有.tmp之類,下載 11/08 00:23
ripple0129: 中檔案印象chrome會有不同副檔名 11/08 00:23
MAGICXX: 因為資料名稱是亂碼 沒辦法先放在for裡面給他跑 11/08 03:10
MAGICXX: 最後我還是給他sleep...雖然我覺得應該有方法才對... 11/08 03:10
TitanEric: https://reurl.cc/R1Er7g 11/08 09:11
TitanEric: 感覺可以用以上chrome內建機制解 11/08 09:14
LP9527: 用 「檔案數量 」作判斷啊.. 11/08 11:08
annheilong: 你有辦法下載檔案就會知道檔名吧? 11/09 10:22
s860134: 檔案數量和 .temp 應該是合理解 11/10 09:14
MAGICXX: 我最後是去比對 如果沒有crdownload 就繼續抓這樣 11/11 11:53
mychiux413: 下載時有辦法換成requests去做嗎? 12/21 19:20