Re: [分享] sparklyr

[pk790127 (<>)]

※ 引述《celestialgod (天)》之銘言：
: [關鍵字]: sparklyr
: [出處]: http://spark.rstudio.com/index.html
: [重點摘要]:
: 煩請移駕到我的部落格觀看：http://goo.gl/SSor3y
: 最近花了點時間研究Spark
: 終於研究到了一個段落
: 回來研究一下自己最愛的R
: 而且又看到rstudio釋出了sparklyr就手癢想說試試看了
: 於是就有這篇心得了XD
: 只是我還沒去測試machine learning相關的東西
: 就留給其他人慢慢賞玩了


感謝celestialgod大大 無私分享這個關於spark的套件
小弟目前著手研究這個套件,並搭配出處原文參考

但是在安裝的時候發現了一些問題
例如說是
Error:

To run Spark on Windows you need a copy of Hadoop winutils.exe:

1. Download Hadoop winutils.exe from:

2. Copy winutils.exe to
C:\Users\XXXXXX
這個問題網路上問的人蠻多的,只要將winutils放入指定路徑即可

但是衍生成別的問題 就找不到解法,想請教大大
問題如下:

> library(sparklyr)
> sc <- spark_connect(master = "local")
Error in start_shell(master = master, spark_home = spark_home, spark_version
= version,  :
  Failed to launch Spark shell. Ports file does not exist.
    Path: C:\spark-2.0.0-bin-hadoop2.7\bin\spark-submit.cmd
    Parameters: --class, sparklyr.Backend, --packages,
"com.databricks:spark-csv_2.11:1.3.0","com.amazonaws:aws-java-sdk-pom:1.10.34",
"C:\spark-2.0.0-bin-hadoop2.7\R\lib\sparklyr\java\sparklyr-2.0-2.11.jar",
C:\Users\John\AppData\Local\Temp\RtmpKyXbqK\file16b076c13dc6.out

檔案名稱、目錄名稱或磁碟區標籤語法錯誤。


感覺是spark檔案中的一些資料放錯了位置,可是研究了好久還是找不到答案
還請各位大大相助










--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.116.86.113
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1479999594.A.11A.html
→ pk790127: 備註  我是只要在local端執行運算即可
→ celestialgod: 你可以試試看直接用最新版的rstudio + sparklyr就好
→ celestialgod: 不要自己設置HADOOP跟SPARK路徑
→ celestialgod: 用sparklyr的install_spark
→ celestialgod: 成功機率應該會比較高
→ celestialgod: 很多自己設定的東西 跑掉是不好找的(攤手
→ celestialgod: 除非你真的對R, 系統, Spark都很熟
→ clansoda: 對 sparlyr已經建在rstudio上了，只要你有安裝sparklyr
→ clansoda: 他就會跟git一樣出現在environment那邊，很容易可以使用
→ celestialgod: 在linux玩這個套件還是我最推薦的方式拉(攤手
→ celestialgod: windows = 浪費時間
→ celestialgod: 現在架一個，用rstudio server不用太久
→ celestialgod:           /vm
→ Edster: 真的windows=浪費時間，我今天花一天時間處理big5跟unicod
→ Edster: 混用的檔名，在windows下真的很討厭。看來該要跳槽linux了
→ andrew43: 急的話用virtualbox安裝個順手熱門的linux distro吧
→ pk790127: 感謝各位的回覆 問題可能傾向板本問題