[問題] Rselenium網頁爬蟲迴圈問題

[bearching (Exploring inspirations)]

[軟體熟悉度]:
入門(寫過其他程式，只是對語法不熟悉)

[問題敘述]:
===
02/11/2019補上更詳細的問題敘述供參考

我目前想做的事情是在一個資料庫上爬資料，

資料庫是用網頁呈現的，我的需求是複製搜尋資料庫之後的結果，

該搜尋結果一頁只會呈現35筆的資料，

所以如果搜尋結果總共20000筆的話我就會手動複製到天荒地老，

故打算用爬蟲的方式複製資料，再轉成excel可以讀取的檔案，之後再進行下一步分析

coding卡住的地方是我原本想要一筆資料就設定為一個變數，

35筆資料就有35個變數

locka與celestialgod的建議是，R的概念不是這樣子的(也幸好不是，後來想想這樣子抓

資料會很恐怖)

應該是設定一個list函數，再把資料儲存到這個函數裡面

我後來使用的是vector函數，然後把資料儲存進去，

再輸出為csv檔:

a <-vector()

#中間複製資料的code略過

at <- matrix(a)

write.csv(at, file ="abc.csv")


======
我想要寫的內容是，宣告jump.page當作網頁的頁碼(從第2頁開始)
每頁有0~34行的內容，我用xpath定位這總共35行，
value是paste0(value ="//span[@id='tr_",m,"']"))

然後整個網頁頁面是從第2頁到第10頁
一樣是用xpath定位網頁上面的頁碼，value是
paste0(value ="//a[text()='",jump.page,"']"))

我想要問的事情是

1.take_m的這個宣告變數，我想要把m用迴圈的數字代換，但目前就是跳出"take_m"

這個變數而已，

這個目的想要的是把複製的文字記錄在同一個變數(或是vector?)裡面，

再print來看

2.我使用paste0()做這件事情，目前好像時好時壞，有時候會認不得我寫的東西，

有時候又可以，請問有沒有版友跟我發生一樣的事情呢? 感謝




[程式範例]:

jump.page <- 2
while(jump.page <= 10){
  for(m in 0:34) {
    take_m <- remDr$findElement(using = "xpath", paste0(value =
"//span[@id='tr_",m,"']"))
    take_m$getElementText()
  }


web.link <- remDr$findElement(using = "xpath", paste0(value =
"//a[text()='",jump.page,"']"))
  web.link$clickElement()

jump.page <- jump.page + 1
}

[關鍵字]:

爬蟲 Rselenium 迴圈

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.119.121.6
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1548746320.A.8BC.html
※ 編輯: bearching (140.119.121.6), 01/29/2019 16:30:05
推 locka: 建議提供可以重現問題的程式碼。不過我覺得原po可以練習使
→ locka: 用*apply系列函數來寫迴圈。如果我沒理解錯的話，你現在卡
→ locka: 住的地方是在於想跑35次迴圈產生35個 take_m 變數，方便你
→ locka: 查看每次的內容；可是R的邏輯在這裡不太像一般的程式語言，
→ locka: 舉例來說如果你用result<- lapply(…)來做的話，回傳值會是
→ locka: 一個長度35的list，list中每個element就是每次的結果，這樣
→ locka: 只要用 result[index] 的方式就可讀每次的結果了，根本不需
→ locka: 要設35個變數。
感謝你~! 我現在的確是用list函數來做，爬了版上文章看到可以用list

來實現我想做的事情。

我會找找看apply系列的函數來看的，再次感謝~!!
※ 編輯: bearching (123.204.166.118), 01/30/2019 00:46:56
※ 編輯: bearching (140.119.121.6), 01/30/2019 11:56:09
→ celestialgod: 是不是用apply是無所謂，但是沒有可以重現問題的程
→ celestialgod: 式碼 實在無法幫忙....
→ celestialgod: 啊啊 原來原po要產生task_1, ...這樣的變數？ 原po
→ celestialgod: 請考慮用list存下task的資料
目前我是使用vector來產生一個向量，然後把我要的資料全部塞進去再儲存為csv檔

※ 編輯: bearching (140.119.121.6), 02/11/2019 17:38:44