pySaprk,pycharm編寫spark的python腳本,遠程上傳執行和本地模式執行

上次,我們用scala來編寫來spark,這次我們用python來寫spark腳本,我們在上篇博客中說過,spark的版本是2.2.0,scala的版本是2.1.x,這樣我們在集羣中,由於spark的版本,沒有辦法使用pySpark wordcount.py 來執行腳本,只能使用spark submit wordcount.py來執行腳本,在Linux環境是這樣執行的,但是我們寫腳本,可以直接在L
相關文章
相關標籤/搜索