pySaprk,pycharm編寫spark的python腳本,遠程上傳執行和本地模式執行

上次,咱們用scala來編寫來spark,此次咱們用python來寫spark腳本,咱們在上篇博客中說過,spark的版本是2.2.0,scala的版本是2.1.x,這樣咱們在集羣中,因爲spark的版本,沒有辦法使用pySpark wordcount.py 來執行腳本,只能使用spark submit wordcount.py來執行腳本,在Linux環境是這樣執行的,可是咱們寫腳本,能夠直接在L
相關文章
相關標籤/搜索