[問題] 請教 RHadoop 高手

[koai (可笑的自以為...)]

[問題類型]:
程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來)

[軟體熟悉度]:
R 使用者   ( RHadoop 幼幼班... @@" )

[問題敘述]:
想請教版上的RHadoop高手或使用者，
是否可以幫我看看我的問題出在哪裡？
最近在嘗試用RHadoop，但不是很理解rmr2裡面
map 跟 reduce 這兩個函數的結構，想找版上高手求救... @@"
是否可以幫我看看我的下列程式是否有錯？
當input file較小時，下面的程式碼可以成功，
但當input file變大時，我的程式碼就會出錯了！

以下為 Error code:
Error: # of failed Map Tasks exceeded allowed limit.
Streaming Command Failed!
Error in mr(map = map, reduce = reduce, combine = combine, vectorized.reduce,  :
hadoop streaming failed with error code 1

感謝前輩幫忙了~~  @@"


[程式範例]:
testdb02 <- mapreduce(
  input  = "/my_test_file",
  map    = function(k,v){
   val <- matrix( unlist(strsplit(v,"\t")), ncol=18, byrow=TRUE)
   colnames(val) <- paste("Col_",1:18,sep="")
   key <- matrix(as.double(unlist(strsplit(matrix(unlist(strsplit(val[,1]," ")),2)[2,],":"))),ncol=3,byrow=TRUE)
   keyval(key,val)
  }
)

http://codepad.org/0PMOmqf2


[關鍵字]:
RHadoop; rmr; mapreduce

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 203.73.70.8
※ 編輯: koai            來自: 203.73.70.8          (12/23 18:14)
→ koai:有高手願意解救嗎??  @@"
→ Wush978:我完全沒碰過RHadoop, 但是根據你的錯誤訊息,
→ Wush978:以及過去我聽過的傳聞（未證實）, 我猜可能是因為執行時間
→ Wush978:過久。Hadoop的Task如果超過多少秒沒回應會被終止。
→ Wush978:( 如有誤，還請大大不吝指正 )
→ koai:感謝W大熱情回覆, 不過我依然卡在這裡努力當中...  @@"
推 tailinchen:沒使用過Rhadoop但感覺是因為你的資料都是一堆小檔案
→ tailinchen:造成Map task太多
→ koai:t大... 我的input只有一個資料阿~~  @@"
推 tailinchen:看到錯誤訊息是failed task那應該是程式碼有問題喔
推 tailinchen:hi同學 我最近試了一下 我想是不是因為你安裝時不是用
→ tailinchen:root安裝套件包所以產生的問題
→ tailinchen:http://blog.fens.me/rhadoop-rmr2-pipemapred/
→ tailinchen:這個網站裡有類似的教學