看板 Python 關於我們 聯絡資訊
對於python 對於spark我都是新手 請多多見諒 最近想要開始學習spark 用python寫 照著網路上的操作 想說只是簡單的幾個步驟 但遇上了一個嚴重的問題 安裝結果: http://imgur.com/a/TgCGz 看別人安裝好都會有這一行 SparkContext available as sc. 可是我沒有這部分 導致於我在跑範例程式碼的時候 都會跑出 cannot import name SparkContext 請問 是我安裝的部分沒搞好嗎? 還是 我需要去哪裡改哪個東西呢? 謝謝你/妳 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 68.181.206.76 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1490939425.A.E4E.html
hsnusonic: from pyspark import SparkContext 會跑出什麼 03/31 18:39
會跑出ImportError: cannot import name 'SparkContext' 如果from pyspark import SparkConf 就是跑出 cannot import name 'SparkConf' 確認一下 跑程式碼 是用terminal打./bin/spark-submit xxx.py 對嗎? 補充一下 python version:3.5.2 spark version:2.1.0 謝謝 ※ 編輯: dream3531 (68.181.88.116), 03/31/2017 22:36:51
hsnusonic: 你貼的shell看起來很正常呀,所以在shell直接import沒 04/01 12:00
hsnusonic: 問題嗎 04/01 12:00
請問在shell直接import的意思是? 正在學 一直發問 哈哈哈 ※ 編輯: dream3531 (68.181.88.116), 04/01/2017 13:26:55
hsnusonic: 就是用pyspark 一行一行輸入 不是用spark-submit 04/01 13:36
可以耶! 不過用shell 要怎麼直接跑一個project呢? ※ 編輯: dream3531 (68.181.88.116), 04/02/2017 00:48:38