[問題] Error in UseMethod("xml_find_all")

[k5171 (Jess)]

各位版大好，
首次使用Ｒ爬蟲，
嘗試其他網頁的爬蟲都有成功，
唯獨此篇的網頁一直爬不下來，
嘗試多日真的快想破頭，
懇請版上大大能幫忙！

[問題類型]:
程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來)

[軟體熟悉度]:
新手(沒寫過程式，R 是我的第一次)

[問題敘述]:
library(httr)
library(rvest)

etf_url <- "http://etfdb.com/etfdb-category/high-yield-bonds/"


首先想爬這個表格就嘗試了幾個方法：

# Definitive List Of High Yield Bonds ETFs
(I)
hyetf <- read_html(etf_url) %>%
        html_nodes(xpath = '//*[@id="etfs"]') %>%
        html_table()
==> hyetf 顯示為 list()

(II)
etf <- content(GET(etf_url), as = "text", encoding = "UTF-8")
hyetf <- etf %>%
        html_nodes(xpath = '//*[@id="etfs"]') %>%
        html_table()
hyetf
==> Error in UseMethod("xml_find_all") :
        沒有適用的方法可將 'xml_find_all' 套用到 "character" 類別的物件;
    hyetf 同樣顯示為 list()

(III)
想說試試看用爬 <table> tag 的方式，結果卻發現找不到 <table> tag 的 list:
hyetftable <- read_html(etf_url) %>%
hyetftable <- read_html(etf_url) %>%
             html_nodes("table")
==>  {xml_nodeset (0)}

於是不死心決定爬個入門版的最上方大標題試試，結果還是失敗了

# 網頁頂層大標 High Yield Bond ETFs
(I)
hyetf <- etf %>%
        html_nodes(".mm-heading-no-top-margin") %>%
        html_nodes("h1") %>%
        html_text()
==> Error in UseMethod("xml_find_all") :
        沒有適用的方法可將 'xml_find_all' 套用到 "character" 類別的物件;
    hyetf 顯示為 character(0)

(II)
hyetf <- read_html(etf_url) %>%
        html_nodes(".mm-heading-no-top-margin") %>%
        html_nodes("h1") %>%
        html_text()
==> hyetf 仍顯示為 character(0)


嘗試了好幾週，真的不確定是哪裡缺少什麼，懇請版上大大賜教，感激！

[環境敘述]:
> sessionInfo()
R version 3.3.1 (2016-06-21)
Platform: x86_64-apple-darwin13.4.0 (64-bit)
Running under: OS X 10.11.6 (El Capitan)

locale:
[1] zh_TW.UTF-8/zh_TW.UTF-8/zh_TW.UTF-8/C/zh_TW.UTF-8/zh_TW.UTF-8

attached base packages:
[1] stats     graphics  grDevices utils     datasets
[6] methods   base

other attached packages:
 [1] httr_1.2.1     Rwordseg_0.2-1 ggplot2_2.2.0
 [4] jiebaR_0.9.1   jiebaRD_0.1    tmcn_0.1-4
 [7] tm_0.6-2       NLP_0.1-9      rJava_0.9-8
[10] rvest_0.3.2    xml2_1.0.0

loaded via a namespace (and not attached):
loaded via a namespace (and not attached):
 [1] Rcpp_0.12.7      magrittr_1.5
 [3] munsell_0.4.3    colorspace_1.2-6
 [5] R6_2.1.3         stringr_1.1.0
 [7] plyr_1.8.4       tools_3.3.1
 [9] parallel_3.3.1   grid_3.3.1
[11] gtable_0.2.0     selectr_0.3-0
[13] lazyeval_0.2.0   assertthat_0.1
[15] tibble_1.2       curl_2.1
[17] rsconnect_0.4.3  slam_0.1-40
[19] stringi_1.1.1    scales_0.4.1
[21] XML_3.98-1.5

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.214.198.211
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1486207270.A.8F8.html
→ celestialgod: 我猜應該是要從某個網址設定好header 用GET做query
→ celestialgod: 這網站架構，我沒有弄清楚，只能給一個方向
→ celestialgod: 有點像是我上次爬得全家網站 (板上某篇文章)
→ celestialgod: 如果都聽不懂，也別來問我，因為我對網站也是一知半
→ celestialgod: 解... 找專業的詢問吧
→ celestialgod: 我說的全家那篇 #1NQJm6QM (R_Language)
→ k5171: 感謝c大,全家那篇很仔細,有用心研究了
→ k5171: 感謝c大,全家那篇很仔細,有用心研究了
→ k5171: 僅有一個小提問，關於您code中的
→ k5171: tables <- sapply(1:7, function(i){
→ k5171: paste0("http://www.i-write.idv.tw/life/info/familymart/
→ k5171: 1-", i, ".html") %>>%
→ k5171: GET %>>% content %>>% xml_find_all("//table//table") %>
→ k5171: >% '[['(2) %>>%
→ k5171: xml_find_all("tr") %>>% lapply(function(node){
→ k5171: xml_find_all(node, "td") %>>% xml_text %>>%
→ k5171: stri_conv(from = "UTF-8", to = "Big5")}) %>>%
→ k5171: do.call(what = rbind) %>>% `colnames<-`(.[1,]) %>>%
→ k5171: '['(2:nrow(.), )}
→ k5171: 其中的'[['(2)；`colnames<-`(.[1,])；'['(2:nrow(.), )
→ k5171: 何時需在[旁加', 何時用`；以及（.[1,])與nrow(.)的.為何？
→ clansoda: '[['(2)表list第二個項目, .是表pipe line裡面前一個
→ clansoda: pass過來的值 例如 X %>% now(.) .表示X
→ celestialgod: 不用深究程式，你知道怎麼爬就好XD
→ celestialgod: 研究這些的時間不如好好研究你那個網站架構
→ celestialgod: 重點在怎麼取得那些query網址，要去觀察browser的動
→ celestialgod: 作，這是程式碼看不到的
→ celestialgod: 先去想我怎麼從原問題的網址找到要用GET的網誌
→ k5171: 了解，感謝兩位大大！請問 GET inquiry 是否只適用需點擊
→ k5171: 查詢的網頁？（像是全家的網頁需要輸入郵遞區號才會顯示
→ k5171: 查詢的網頁？（像是全家的網頁需要輸入郵遞區號才會顯示
→ k5171: 資料）
推 andrew43: 小女是指您女兒。
→ clansoda: XDDDD andrew大不講 我根本沒看到 所以應該是小女子囉
→ celestialgod: 可以用小妹?!
→ celestialgod: 全家那個是按地圖時會有查詢的網址，瀏覽器可以抓到
→ celestialgod: 這個行為
→ celestialgod: 你那個網站大概也是要找到那個查詢網址，不過可能要
→ celestialgod: 在他的js code找
※ 編輯: k5171 (49.214.198.211), 02/06/2017 12:22:07
推 memphis: andrew43 厲害喔 我們看太多都自動忽略掉了
→ celestialgod: 樓上也喜歡自稱小女嗎XDD