服務器上修改運行scala

更新關於IDEA上配置環境能夠參看(https://blog.csdn.net/a532672728/article/details/79455024)這篇博客shell

---------------------------------------------------分割線---------------------------------------------vim

最近由於項目須要在Xshell上操做(SPARK在IDEA上太難配置了,最終暫時先放棄了),因此整理下服務器上修改運行scala時一些可能用到的的命令。服務器

一,先進入目標目錄:網站

很基礎,簡單一說,相對路徑cd usr/local/bin,絕對路徑cd /usr/local/bin,返回上一級cd ..  返回根目錄cd /spa

二,創建一個本身的文件夾方便管理:.net

mkdir fengqiaoxue;scala

三,操做代碼前最好複製備份下:3d

cp -r limingdao/DistanceEstimation fengqiaoxue/test1  其中-r是遞歸參數,即將文件夾下文件也一併複製,刪除(rm),移動(mv)時也同理blog

四,使用VI/VIM修改代碼:遞歸

vi src/main/scala/MakeGraph.scala,進入VI以後按I進入插入狀態,能夠經過上下左右移動光標,或空格、退格及回車等進行編輯內容,編輯好後按Esc退出插入狀態,以後若是保存退出就輸:wq或shift+zz快捷鍵,不保存退出直接輸:q

五,編譯scala代碼:

SBT安裝參見網站(https://blog.csdn.net/a532672728/article/details/72477591)

配好後編譯首先須要確保包結構符合要求,以後運行/usr/local/sbt/sbt package命令便可,嘗試了下應該是沒問題了。

/usr/local/sbt/bin/sbt package

 六,提交運行:

進入到target中剛生成jar包的文件目錄裏,spark-submit下就能夠了

spark-submit --class test4 --master spark://master:7077 simple-project_2.11-1.0.jar

------------------------------------------------------------------------------------------- 

補充關於HDFS上文件查看,上傳文件等操做

查看HDFS內容:hdfs dfs -ls /    (最後是hdfs的目錄)

上傳HDFS文件:hdfs dfs -put /home/hdfs/files/test.txt   /input        (前面爲服務器中文件路徑,後面爲HDFS中文件路徑)

顯示文件中的內容:hdfs dfs -cat /small2.txt

也能夠切換到相應目錄使用vim打開查看

相關文章
相關標籤/搜索