看板 Python 關於我們 聯絡資訊
如題 米特是一個高中生的論壇 https://meteor.today/board/styling 因為我最近想要學習年輕人的穿搭風格 想利用爬蟲抓一下 已經知道是用Beautfulsoup還有requests來抓了 可是我看html.text裡面沒有每一篇的文章連結? 其他的部分基本上都ok 我會用 selenium 的Webdirver來click"更多文章" 點進文章之後的圖片網址我也能用正則表達式子下載下來 現在就是差把每一篇文章的網址找到了.... 新手 請教各位前輩 謝謝!! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.35.244.95 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1584016724.A.A81.html
TakiDog: 用requests吧 03/12 21:00
TakiDog: F12 Network的部分在看一下,一定在哪有圖片的url 03/12 21:01
alvinlin: 看起來是JS的問題。要研究研究 03/13 00:57
alvinlin: 你試過selenium webdriverwait 嗎? 03/14 01:01
alvinlin: 我研究完JS了。方法是要分析它的flow,然後看網頁如何re 03/14 11:59
alvinlin: nder出來的,接著一個個拆解後,找到關鍵的頁面,試著去 03/14 11:59
alvinlin: parse解析內容就行了 03/14 11:59
alvinlin: https://i.imgur.com/OfLFJ2N.jpg 03/14 12:24
alvinlin: 如果要看其他的欄位: 03/14 12:30
alvinlin: https://i.imgur.com/iC0aVt4.jpg 03/14 12:30
謝謝大大寄信 我會再研究研究 ※ 編輯: johdju88 (1.34.147.165 臺灣), 03/15/2020 16:16:16
alvinlin: ^^ 03/17 00:52