idea中直接運行spark程序

咱們能夠在IDEA中直接運行spark程序,來鏈接服務器上的HDFS或者是spark集羣來跑spark任務。java 提早工做 咱們須要先解決idea直接運行程序遠程訪問HDFS的問題。 首先下載 hadoop-common-2.6.0-bin-master.rar 壓縮包(須要和服務器上的Hadoop版本對應),解壓到任意目錄,而後在環境變量中添加 HADOOP_HOME ,變量值爲解壓的位置。
相關文章
相關標籤/搜索