[問題]初學者爬蟲截取超連結問題

[idleryan (QQ)]

板上各位強者好

最近因為故宮開放所有收藏品的圖片下載
因此拿來當作第一次自學python程式寫一個簡易的爬蟲
目前想到比較不自動的方式 -
從第一頁爬到最後一頁或取所有下載的連結
再用其他下載軟體慢慢下載,但使用迴圈時,一直連不去下一頁
新手程式碼如下,還請大家指點迷津


import requests
from bs4 import BeautifulSoup

for _page in range(1,2,1):
    res = requests.get("http://theme.npm.edu.tw/opendata/DigitImageSets.aspx?pageNo=%d"
% _page)
    soup = BeautifulSoup(res.text, 'lxml')
    a_target = soup.find_all('a','fancybo_xxxx fancybox.iframe')
    for a in a_target:
        print(a['href'],a.text)

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.222.221.39
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1500279733.A.C6C.html
※ 編輯: idleryan (61.222.221.39), 07/17/2017 16:22:55
推 Yshuan: range(1,2,1) 只有 list: [1] ...
→ idleryan: range(1,2,1)不是指start at 1, end at 2, step = 1還是
→ idleryan: 我打錯了??
→ Nieto: range(1,3,1)才是從1開始, 到2結束
→ idleryan: 我了解了...2結束,所以不會進loop ....
→ coeric: 用while 然後照staus去決定迴圈的跳出即可 不必管幾頁