[問題] 想在Scala的RDD物件中更新變量

[iwantstronge (...)]

版友們好~

最近剛學Scala, 有個問題卡了很久


當我把檔案用RDD讀進來:

val input = sc.textfile("myfile.txt")

接著逐行讀取這個檔案(RDD),

在裡面用一個容器(HashMap, Array, List之類的)儲存每一行的一些資訊

例如:

input.foreach{line=>
        var value = line.toInt
        hashmap.put(value,1) // hashmap是在外面先定義好的一個HashMap容器
        }


因為RDD本身是分散式被serilize到各個node(?),

所以不會去更新我傳到裡面的hashmap, 這個hashmap在foreach以外依然是空的~


請問我是否有任何辦法能把foreach裡面的hashmap傳出來,以便下一步處理呢~?

小弟新手, stackoverflow跟google找了兩天都沒啥頭緒~

還請高手指點~!! 感謝~!


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 66.189.117.1
※ 文章網址: https://www.ptt.cc/bbs/java/M.1490003453.A.3F1.html
→ iwantstronge: 對了,我知道在迴圈前加collect可以辦到,但是檔案很
→ iwantstronge: 大,用collect的話記憶體無法負荷~ 或是有沒有類似
→ iwantstronge: collect的方法,但是只存hashmap出來??
推 KekeMonster: 感覺你想做的事跟 wordcount 範例差不多耶
推 mars90226: 猜測是Spark，google了一下有collect_set可以用
→ mars90226: 你可以先用map把line轉成int，在collect成set
→ iwantstronge: 感謝建議~ 我找到癥結了~