作者a6409tw (爆蠑螈)
看板R_Language
標題[問題]用R爬蟲時SelectorGadget抓到的node有問題
時間Wed Aug 8 18:15:11 2018
[問題類型]:
程式諮詢
[軟體熟悉度]:
入門(寫過其他程式,只是對語法不熟悉)
[問題敘述]:
我想使用R爬蟲爬淘寶網的商品名稱,
但利用SelectorGadget所抓出來的節點似乎有點問題,
所以都爬不出任何東西Q
以下是我的程式碼
"
https://s.taobao.com/search?q=&cps=yes&cat=2203&sort=sale-desc"%>%
read_html() %>% html_nodes(".J_ClickStat")%>% html_text()
結果都是顯示 character(0)
結果都是顯示 character(0)
但如果我改抓商品以外的東西像是
"
https://s.taobao.com/search?q=&cps=yes&cat=2203&sort=sale-desc" %>%
read_html() %>% html_nodes("a")%>% html_text()
就可以成功!
我真的不知道問題出在哪,
拜託各位大大我該如何解決QQ
[環境敘述]:
R version 3.5.1 (2018-07-02)
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows >= 8 x64 (build 9200)
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.51.191.44
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1533723314.A.E95.html
→ andrew43: 和SelectorGadget有關的操作說明看看08/08 20:52
→ andrew43: 如果是你手動在額外的browser改了節點,那自然沒有用。08/08 20:53
我發現問題是在於
淘寶的網站是屬於動態網站
所以無法用rvest抓到
還是感謝大大了Q
※ 編輯: a6409tw (223.136.191.25), 08/09/2018 00:04:01
→ andrew43: 動態網頁也不一定就沒辦法。看看RSelenium之類的工具 08/09 02:02