更新關於IDEA上配置環境能夠參看(https://blog.csdn.net/a532672728/article/details/79455024)這篇博客shell
---------------------------------------------------分割線---------------------------------------------vim
最近由於項目須要在Xshell上操做(SPARK在IDEA上太難配置了,最終暫時先放棄了),因此整理下服務器上修改運行scala時一些可能用到的的命令。服務器
一,先進入目標目錄:網站
很基礎,簡單一說,相對路徑cd usr/local/bin,絕對路徑cd /usr/local/bin,返回上一級cd .. 返回根目錄cd /spa
二,創建一個本身的文件夾方便管理:.net
mkdir fengqiaoxue;scala
三,操做代碼前最好複製備份下:3d
cp -r limingdao/DistanceEstimation fengqiaoxue/test1 其中-r是遞歸參數,即將文件夾下文件也一併複製,刪除(rm),移動(mv)時也同理blog
四,使用VI/VIM修改代碼:遞歸
vi src/main/scala/MakeGraph.scala,進入VI以後按I進入插入狀態,能夠經過上下左右移動光標,或空格、退格及回車等進行編輯內容,編輯好後按Esc退出插入狀態,以後若是保存退出就輸:wq或shift+zz快捷鍵,不保存退出直接輸:q
五,編譯scala代碼:
SBT安裝參見網站(https://blog.csdn.net/a532672728/article/details/72477591)
配好後編譯首先須要確保包結構符合要求,以後運行/usr/local/sbt/sbt package命令便可,嘗試了下應該是沒問題了。
/usr/local/sbt/bin/sbt package
六,提交運行:
進入到target中剛生成jar包的文件目錄裏,spark-submit下就能夠了
spark-submit --class test4 --master spark://master:7077 simple-project_2.11-1.0.jar
-------------------------------------------------------------------------------------------
補充關於HDFS上文件查看,上傳文件等操做
查看HDFS內容:hdfs dfs -ls / (最後是hdfs的目錄)
上傳HDFS文件:hdfs dfs -put /home/hdfs/files/test.txt /input (前面爲服務器中文件路徑,後面爲HDFS中文件路徑)
顯示文件中的內容:hdfs dfs -cat /small2.txt
也能夠切換到相應目錄使用vim打開查看