看板 Python 關於我們 聯絡資訊
https://www.mittw.org.tw/products/manufacturer.aspx 想要將這個網頁的公司名稱爬蟲下來,但發現有翻頁問題 已經在stackoverflow等等網站找尋資訊,還是無法解決, 想請問各位py神有沒有方法可以解決這個問題。 以下是程式碼 from bs4 import BeautifulSoup import requests url = 'https://www.mittw.org.tw/products/manufacturer.aspx' url_get = requests.get(url) soup = BeautifulSoup(url_get.content, 'lxml') col = soup.find_all('div',{'class': "name"}) for ix in col: print(ix.get_text()) -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.117.248.4 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1544670049.A.FB6.html
CodingMan: Selenium 12/13 11:17
cody880528: 大概像這樣吧 https://pastebin.com/mpB8RNir 12/13 12:18
cody880528: ASP都比較麻煩一點 12/13 12:18
jimmy5104: 謝謝cody880528你的code可以順利爬下來但是我有的看不 12/13 13:13
jimmy5104: 懂其中的含意可以幫我解釋一下嗎? 另一個問題就是假如 12/13 13:13
jimmy5104: 說main()爬取下來後怎麼將他也順利寫入csv擋 12/13 13:13
jason860421: 開開發者工具看網頁做了什麼就知道了 12/13 15:30
jimmy5104: aspx背後程式碼有點看不懂cody打在def裡面有幾個網頁 12/13 16:53
jimmy5104: 原始檔的code不知道為什麼是這樣打我比較想知道原因為 12/13 16:53
jimmy5104: 什麼是挑選那幾個下去原始碼後就可以翻頁爬蟲 12/13 16:53