Re: [問題] 抓 google 網頁的搜尋回傳結果

[purplvampire (阿修雷)]

小弟也有類似的問題想請教前輩們，是針對搜尋結果的前幾個網站連結做抓取，

試過書上用bs4的選擇器soup.select('.r a')抓不到連結，上網查最新的選擇器

soup.select(div.g > h3.r > a[href^="/url"])也是抓不到網站連結

http://bit.ly/2WshWEH

CSS資料

https://i.imgur.com/XYYotok.png

請問我該如何正確抓取Google搜尋結果的網站連結？

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.177.123.190 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1560180898.A.C06.html
推 wsybu: 有用selenium抓嗎?
沒耶，我試試看，謝謝
推 wsybu: google search結果頁面在不能使用js的情況下是另一個
→ wsybu: 版型
原來如此，謝謝大大提示
※ 編輯: purplvampire (180.177.123.190 臺灣), 06/11/2019 22:21:13
→ TakiDog: 你requests html存出來看...
→ TakiDog: 有api能用就找api