[問題] 是網站改版?還是刻意防爬蟲?

[mejichoco (UoU)]

因為工作的原因，還有暫時資料的擷取

需要到書店的網頁擷取資料

但是在爬了3個月之後，網站突然網址不一樣

然後request的內容跟開發者工具的HTML不一樣

但是因為image網站不穩定，那我直接到巴哈求助的內容

直接貼上來

https://forum.gamer.com.tw/Co.php?bsn=60292&sn=16212


這是爬蟲爬到的 requests
https://gist.github.com/cj044/f28bdb5372d8d9692bf07fa7d0fbc729

完全沒有，我所需要如下的價錢，以及裝訂(peprback)

這是開發者的 HTML
https://gist.github.com/cj044/9a889246299bb3562841e647706b438f


如果真的不行，我直接換網站好了

我只是要裡面的資料，不是要攻擊網站

還是用AMAZON 或是 ebay的API 直接代替爬蟲

但是Amazon 網路上沒有相關擷取書籍資料至EXCEL的python實作資料，實在很困擾


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.136.229.162 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1629100346.A.40F.html
※ 編輯: mejichoco (101.136.229.162 臺灣), 08/16/2021 17:54:27
→ x94fujo6: https://i.imgur.com/PRL07xa.png
https://i.imgur.com/tuGkFVm.jpg 我要的是這個!
非常感謝各位專家熱心幫忙，不過專業術語rendar是甚麼? 謝謝!
 大大網指標的是 list_name=srh? 但是您怎麼知道list_name=i-r-zh_tw
這樣還有可能爬得到嗎?
→ Hsins: 老實說, 是你基礎不好, 天瓏沒這麼難爬
→ Hsins: - 對方網站沒有太多的方式判斷你是不是要攻擊他, 對他來說
→ Hsins:   就是網路請求, 但這個請求如果太多太快, 對他來說可以用
→ Hsins:   這個特徵認為你是要攻擊。實際上，售票網站那種搶票狀況
→ Hsins:   對網站來說可以算是攻擊呀！因為會讓我伺服器無法正常處
→ Hsins:   理。你用自動化的方式去拿資料，沒有銷售行為，對他來說
→ Hsins:   也是種攻擊。
→ Hsins: -  robots.txt 並不會影響你送請求跟返回的訊息，他是給一
→ Hsins: 　些遵守規範的人／程式看的，有些自動化爬蟲程式看到不允
→ Hsins:   就不會去爬他，當然你的爬蟲也可以忽略他的聲明繼續爬，
→ Hsins:   順帶一提，如果對方 robots.txt 言明不想被爬但你還用自
→ Hsins:   化手段獲取資料，在某些國家是違法行為會吃官司的。
→ Hsins: - 一樓的推文被你編輯文章刪掉了，我想他要說的是你想要的
→ Hsins:   資料，都可以在請求後所拿到的 HTML 原始文件中取得，而
→ Hsins:   這些資料被放在 <header> 元素中
既然書店不願意，那就不浪費時間了!
→ Kitten1156: 知道有robot.txt
推 Kitten1156: 知道有robot.txt
→ Kitten1156: 但是從來沒去認真看他 哈
推 poototo: 降低爬速，加proxy
還是有沒有Amazon Python API的使用sample AMAZON API應該就合法了吧?
但是沒有Amazon ISBN的使用手冊!
※ 編輯: mejichoco (101.137.209.158 臺灣), 08/17/2021 16:36:59
→ mantour: 我爬出來都很正常耶, 你是怎麼爬得要不要說一下