看板 Soft_Job 關於我們 聯絡資訊
小弟想要利用spark來跑機器學習的演算法, 裡面有一個機器學習函式庫(MLlib) 我是參考如下網頁,結果也有呈現出來 goo.gl/UE3brO 可惜的是作者的code是python寫的,也不是機器學習的code 小弟在書上看到有機器學習的code,但是是scala語言,如下網址 https://gist.github.com/anonymous/ee24f03b98bb91946787f3046fced1b2 目前在ubuntu環境下,執行終端機,輸入 spark-submit iris.py 就可以執行python的程式 但我想要執行scala的程式,不知要輸入什麼指令 還請大大指點指點 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.138.142.57 ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1475575011.A.10B.html
dsakryk: google Spark Submitting Applications 10/04 18:14
dsakryk: 為什麼不先看官網呢? 10/04 18:16
GreenComet: 如果要用scala可以考慮先用spark-shell測試 測的差不 10/04 18:36
GreenComet: 多了再用maven包成一個jar檔submit 10/04 18:36
GreenComet: 資料的讀取可以參考官網Spark SQL的文獻 一行行複製貼 10/04 18:41
GreenComet: 上看效果 大概玩個一天就有sense了 10/04 18:41
SMNOONMS: 這邊不是soft_job版嗎 10/04 19:05
shaform: 小弟恰好有寫過 : https://goo.gl/SNV8VS 10/04 20:25
shaform: 不過請不要站內信問我 TAT 小弟會害羞 10/04 20:26
S大我照你的範例操做,出現兩個問題,echo那欄以及sbt package那段 想請求S大幫解決,謝謝 http://imgur.com/a/kF7n2 http://imgur.com/a/tuvhb
netburst: 有一些gitbook可看 10/05 00:38
※ 編輯: popo14777 (220.134.247.135), 10/05/2016 01:56:45 ※ 編輯: popo14777 (220.134.247.135), 10/05/2016 02:24:02
shaform: 你指令沒打完整阿,要先安裝sbt 10/05 07:13
s大是指這個指令沒打完整嗎? echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list 我輸入後,跑出下圖的錯誤訊息 http://imgur.com/a/sL4CP ※ 編輯: popo14777 (140.138.142.57), 10/05/2016 11:00:52
shaform: 那個指令看起來成功,我指的是那之後三個指令 10/06 19:48
popo14777: 謝謝s大 問題已解決 10/09 21:19