spark僞分佈式安裝與測試
一、下載scala2.11.5版本，下載地址爲：
http://www.scala-lang.org/download/2.11.5.html 二、安裝和配置scala： 第一步：上傳scala安裝包 並解壓
第二步 配置SCALA_HOME環境變量到bash_profile
第三步 source 使配置環境變量生效：
第四步 驗證scala：
三、下載spark 1.2.0，具體下載地址：
http://spark.apache.org/downloads.html 四、安裝和配置spark： 第一步 解壓spark：
第二步 配置SPARK_HOME環境變量：
第三步 使用source生效：
進入spark的conf目錄： 第四步 修改slaves文件，首先打開該文件：
slaves修改後：
第五步 配置spark-env.sh 首先把spark-env.sh.template拷貝到spark-env.sh：
而後 打開「spark-env.sh」文件：
spark-env.sh文件修改後：
五、啓動spark僞分佈式幫查看信息： 第一步 先保證hadoop集羣或者僞分佈式啓動成功，使用jps看下進程信息：
若是沒有啓動，進入hadoop的sbin目錄執行 ./start-all.sh 第二步 啓動spark： 進入spark的sbin目錄下執行「start-all.sh」：
此刻 咱們看到有新進程「Master」 和"Worker" 咱們訪問「http://master:8080/」，進如spark的web控制檯頁面：
從頁面上能夠看到一個Worker節點的信息。 咱們進入spark的bin目錄，使用「spark-shell」控制檯：
經過訪問"http://master:4040"，進入spark-shell web控制檯頁面：
六、測試spark僞分佈式： 咱們使用以前上傳到hdfs中的/data/test/README.txt文件進行mapreduce 取得hdfs文件：
對讀取的文件進行一下操做：
使用collect命令提交併執行job： readmeFile.collect
查看spark-shell web控制檯：
states：
端口整理： master端口是7077 master webui是8080 spark shell webui端口是4040
第二步 配置SCALA_HOME環境變量到bash_profile
第三步 source 使配置環境變量生效：
第四步 驗證scala：
三、下載spark 1.2.0，具體下載地址：
http://spark.apache.org/downloads.html 四、安裝和配置spark： 第一步 解壓spark：
第二步 配置SPARK_HOME環境變量：
第三步 使用source生效：
進入spark的conf目錄： 第四步 修改slaves文件，首先打開該文件：
slaves修改後：
第五步 配置spark-env.sh 首先把spark-env.sh.template拷貝到spark-env.sh：
而後 打開「spark-env.sh」文件：
spark-env.sh文件修改後：
五、啓動spark僞分佈式幫查看信息： 第一步 先保證hadoop集羣或者僞分佈式啓動成功，使用jps看下進程信息：
若是沒有啓動，進入hadoop的sbin目錄執行 ./start-all.sh 第二步 啓動spark： 進入spark的sbin目錄下執行「start-all.sh」：
此刻 咱們看到有新進程「Master」 和"Worker" 咱們訪問「http://master:8080/」，進如spark的web控制檯頁面：
從頁面上能夠看到一個Worker節點的信息。 咱們進入spark的bin目錄，使用「spark-shell」控制檯：
經過訪問"http://master:4040"，進入spark-shell web控制檯頁面：
六、測試spark僞分佈式： 咱們使用以前上傳到hdfs中的/data/test/README.txt文件進行mapreduce 取得hdfs文件：
對讀取的文件進行一下操做：
使用collect命令提交併執行job： readmeFile.collect
查看spark-shell web控制檯：
states：
端口整理： master端口是7077 master webui是8080 spark shell webui端口是4040
相關文章
- 1. spark僞分佈式安裝與測試
- 2. 【Spark】Spark一：Spark僞分佈式安裝
- 3. Spark之僞分佈式搭建、僞分佈式Hadoop、Hive安裝
- 4. Spark僞分佈安裝
- 5. ubuntu18.04安裝spark（僞分佈式）
- 6. centos7安裝Scala、Spark(僞分佈式)
- 7. Spark Standalone僞分佈式安裝
- 8. spark僞分佈式的安裝
- 9. Tachyon 0.7.1僞分佈式集羣安裝與測試
- 10. Hadoop僞分佈式安裝與完全分佈式安裝
- 更多相關文章...
- • Maven 構建 & 項目測試 - Maven教程
- • Docker 安裝 Nginx - Docker教程
- • Composer 安裝與使用
- • IntelliJ IDEA安裝代碼格式化插件
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
