[問題] 爬蟲初試

[asdfrtg (asdfrtg)]

[問題類型]:

效能諮詢(我想讓R 跑更快

[軟體熟悉度]:
使用者(已經有用R 做過不少作品)

[問題敘述]:
想試圖用XML裡的套件readHTMLTable()爬https://reurl.cc/arOM1D的表格
當作練習 卻沒反應
按照https://reurl.cc/Wd68Gx也沒辦法整理
所以小弟本人決定用硬a的方式....
想請問有什麼方法可以直接爬蟲下來並且整理好成表格的@@


[程式範例]:
setwd("D:\\")
d1<-read.csv("行政院環境保護署標案.csv",header=F)
a1<-data.frame(t(d1[1:6,]))
a2<-data.frame(t(d1[7:12,]))
a3<- data.frame(t(d1[13:18,]))
a4<- data.frame(t(d1[19:24,]))
a5<- data.frame(t(d1[25:30,]))
a6<- data.frame(t(d1[31:36,]))
a7<- data.frame(t(d1[37:42,]))
a8<- data.frame(t(d1[43:48,]))
a9<- data.frame(t(d1[49:54,]))
a10<- data.frame(t(d1[55:60,]))
a11<- data.frame(t(d1[61:66,]))
a12<- data.frame(t(d1[67:72,]))

.
.
.
.
.
result<-rbind(a1,a2,a3,a4,a5,a6,a7,a8,a9,a10,a11,a12,........)
[環境敘述]:
R4.02

[關鍵字]:
爬蟲、rvest、XML、XML2

--

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.124.179 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1595255214.A.9BD.html
→ locka: 你的程式碼跟rvest沒關係啊…沒反應的話至少也貼上你的程式
→ locka: 碼讓大家知道你卡在哪裡…
→ locka: 有的時候爬不下來可能因為表格內容是動態產生的，如果對於h
→ locka: tml觀念不熟的話，或許可以使用rselenium套件試看看
→ asdfrtg: 感謝l大提點
→ asdfrtg: 不過是想讓這段程式碼可以變成爬蟲到表格一條龍能夠解決.
→ asdfrtg: ..所以才提出效能諮詢@@
→ locka: 我剛剛試了一下你貼的網址，的確沒有那麼好爬，我再研究一
→ locka: 下。是說你的d1長什麼樣子啊？看起來你現在是貼到csv然後再
→ locka: 讀取，既然要這樣為什麼不貼上的時候就整理好？
回l大就是會變成整個是一欄
但必須要做成六欄多列
做到有些崩潰就上來板上想請教有沒有更加快速的方法...

→ andrew43: 有點偷雞的方法：https://ideone.com/CO8og9
→ andrew43: 其實只是抓每個cell再排到matrix裡而已
感謝a大的幫忙...orz,

另外想請問兩位大大 若爬蟲的話
通常會使用哪個套件那個函數
※ 編輯: asdfrtg (49.216.124.179 臺灣), 07/21/2020 01:22:50
推 locka: 其實爬蟲就是把網頁上你按右鍵查看原始碼的東西抓下來，所
推 locka: 以read_html()會需要，然後重點是要會解析標籤，我個人常用
推 locka: xml_find_all()取出想要的內容，以上都是rvest/xml2套件
是用selectogadget嗎？
※ 編輯: asdfrtg (49.216.124.179 臺灣), 07/21/2020 13:55:32
推 locka: 看了一下，selecttogadget是幫助你解析網頁元素的xpath，這
推 locka: 部分相同功能的東西chrome擴充應用程式商店很多，挑習慣的
推 locka: 用就好。
→ locka: 更正：SelectorGadget
→ andrew43: 推locka，最常用就是rvest或xml2。