windows idea中用scala操作本地spark,hadoop,及打包成jar 詳細步驟

目標: 在idea中用scala編寫簡單代碼,從本地hdfs中(或本地目錄)讀取文件,通過spark處理後,結果輸出到本地dhfs或本地目錄。 然後修改代碼,將項目打成jar包,上傳到linux中,在spark集羣上運行。   環境:hadoop2.7.2 +spark2.2.3 +scala 2.11.8 +idea2018 以上環境的具體安裝配置和idea的基本操作分別見: windows上
相關文章
相關標籤/搜索