018 spark on yarn (Job history)的配置，主要是yarn處跳轉到歷史聚合頁面

一：目標

1.目標

　　在yarn的8080頁面能夠跳轉到spark的日誌18080頁面。

　　由於在運行spark以後，看對應的job的日誌，這樣直接鏈接，更合理直接。

 

2.總結

　　在後面能夠看到，其實不須要啓動mr-history的。

　　由於這個是手機mapreduce的日誌的，同時，只要8088的頁面，在這個頁面點history朝着18080跳轉便可。

 

二：操做步驟

1.先開啓服務

　　yarn，hdfs，spark

　　

 

2.運行程序

　　

 

3.在yarn上沒法觀察history

　　

 

4.由於沒有開啓服務　

　　1. MR的job History服務啓動(不須要啓動)
　　　　mr-jobhistory-daemon.sh start historyserver
　　　　http://hadoop-senior01:19888/jobhistory
　　2. Spark的Job History服務啓動
　　　　sbin/start-history-server.sh

 

5.結果

　　能夠看18080端口。

　　

　　可是，在yarn上的history仍然不能夠跳轉到spark的日誌頁面。

 

二：解決方法

1.關閉全部的服務

　　由於須要修改spark與hadoop的配置文件

　　

 

2.修改yarn-site.xml

　　其中，enable已經在MR的yarn中被配置過。

　　只要配置一下url。

　　

 

3.修改spark-defaults.conf

　　eventLog.dir的做用的聚合做用。

　　在spark-default-site.xml中的配置是展現的做用，展現的文件夾與端口號。

　　

 

4.重啓服務

　　啓動yarn，而後spark的history。

　　

 

5.繼續運行剛纔的程序

　　

 

6.開始觀看全部的效果（首先是18080端口）

　　

 

7.繼續（yarn的8088端口的history點擊）

　　yarn的8088端口

　　

　　單擊後跳到這個界面（18080端口）