作者garlic774 (蒜頭)
看板Python
標題[問題] 爬資訊無法爬全部
時間Sat Oct 2 13:44:25 2021
各位30cm D罩杯水水 大大午安，可以請教以下哪裡寫錯嗎? 只爬到前3個資訊
in
!pip install Selenium
from selenium import webdriver
browser = webdriver.Chrome(executable_path='./chromedriver.exe')
browser.get("
https://shopee.tw/shop/10228173/search?page=0&sortBy=ctime")
source = browser.page_source
import time
import requests
from bs4 import BeautifulSoup
soup = BeautifulSoup(source)
links = []
for b in soup.find_all(class_="shop-search-result-view__item col-xs-2-4"):
links.append(b.a['href'])
links
products =[]
for b in links[:3]:
link = f'
https://shopee.tw/{b}'
browser.get(link)
time.sleep(5)
soup = BeautifulSoup(browser.page_source)
soup
product = {}
product['商品名稱'] = soup.find('div',class_="attM6y").span.text
product['價錢'] = soup.find('div',class_="Ybrg9j").text
products.append(product)
products
out:
{'商品名稱': '明基 雙鋼印 幸福物語4D醫療口罩 (太空灰) 10入 (單片裝 台灣製 立體
口罩 魚型口罩 韓國KF94) 專品藥局',
'價錢': '$199'},
{'商品名稱': '明基 雙鋼印 幸福物語4D醫療口罩 (靜謐藍) 10入 (單片裝 台灣製 立
體口罩 魚型口罩 韓國KF94) 專品藥局',
'價錢': '$199'},
{'商品名稱': '明基 雙鋼印 幸福物語4D醫療口罩 (仙蹤綠) 10入 (單片裝 台灣製 立
體口罩 魚型口罩 韓國KF94) 專品藥局',
'價錢': '$199'}]
請問哪邊還可以修正呢? 目的是想要爬取改頁面所有商品的商品名稱以及價錢的資訊，
謝謝各位
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.226.131.58 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1633153467.A.830.html
推 lycantrope: 看不懂，你寫for b in links[:3]: 不就只能爬3個？ 10/02 14:36
推 yuuyuuhuu: 同上 你只抓到links的前三個 當然只有三個資訊 10/02 14:45
→ garlic774: orz 明白了 XDDD 謝謝 10/02 14:48
推 g919233: 順便說不使用瀏覽器的方式： 10/03 06:03
→ garlic774: 謝謝 長了好多知識！！！ 10/03 19:13
推 oxalip: ce c c 10/16 20:23