[問題] 爬蟲網頁

[piyieen (Nightshift24)]

小的是剛學python的新手
想請教一下
如果要一次爬很多網頁收集成資料庫的話
讀取網頁的code
是用for迴圈的方式嗎
還是有什麼比較常用的方法
謝謝

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.73.46.173
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1528709200.A.936.html
→ neil987: YT有很多教學 先從簡單的開始
→ Jyery: 先學會逛github stackoverflow
→ zo6596001: 除了迴圈還能怎麼做...
→ zo6596001: 我是把要爬的網頁做成一個list，然後for each 一個一個
→ zo6596001: 慢慢抓。
→ zo6596001: 另一個不是動態網頁，則是直接改url的編號，一個一個抓
→ zo6596001: 我寫過2個爬蟲，一個抓即時價格，一個載圖圖。
謝謝分享 用了一天終於跑完了 for迴圈滿快的!
→ kobe8112: yield
※ 編輯: piyieen (42.72.123.55), 06/12/2018 17:14:18
推 handsomeLin: 用while loop阿然後DFS or BFS爬