spark僞分佈式安裝與測試

時間 2019-11-15

標籤 spark 分佈式安裝測試欄目 Spark 简体版

原文原文鏈接

一、下載scala2.11.5版本，下載地址爲： http://www.scala-lang.org/download/2.11.5.html 二、安裝和配置scala：第一步：上傳scala安裝包並解壓

第二步配置SCALA_HOME環境變量到bash_profile

第三步 source 使配置環境變量生效：

第四步驗證scala：

三、下載spark 1.2.0，具體下載地址： http://spark.apache.org/downloads.html 四、安裝和配置spark：第一步解壓spark：

第二步配置SPARK_HOME環境變量：

第三步使用source生效：

進入spark的conf目錄：第四步修改slaves文件，首先打開該文件：

slaves修改後：

第五步配置spark-env.sh 首先把spark-env.sh.template拷貝到spark-env.sh：

而後打開「spark-env.sh」文件：

spark-env.sh文件修改後：

五、啓動spark僞分佈式幫查看信息：第一步先保證hadoop集羣或者僞分佈式啓動成功，使用jps看下進程信息：

若是沒有啓動，進入hadoop的sbin目錄執行 ./start-all.sh 第二步啓動spark：進入spark的sbin目錄下執行「start-all.sh」：

此刻咱們看到有新進程「Master」和"Worker" 咱們訪問「http://master:8080/」，進如spark的web控制檯頁面：

從頁面上能夠看到一個Worker節點的信息。咱們進入spark的bin目錄，使用「spark-shell」控制檯：

經過訪問"http://master:4040"，進入spark-shell web控制檯頁面：

六、測試spark僞分佈式：咱們使用以前上傳到hdfs中的/data/test/README.txt文件進行mapreduce 取得hdfs文件：

對讀取的文件進行一下操做：

使用collect命令提交併執行job： readmeFile.collect

查看spark-shell web控制檯：

states：

端口整理： master端口是7077 master webui是8080 spark shell webui端口是4040

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。