0017-Spark的HistoryServer不能查看到全部歷史做業分析

1.問題描述

Spark的HistoryServer能正常查看以前的歷史做業日誌，但新提交的做業在執行完成後未能在HistoryServer頁面查看。

2.問題復現

1.分別使用root和ec2-user用戶執行做業

2.經過sparkHistory Server能夠正常查看到全部歷史做業

3.將/user/spark/applicationHistory目錄的所屬組修改成supergroup，再次執行做業

sudo –u hdfs hadoop dfs –chown spark:supergroup /user/spark/applicationHistroy

做業執行完成

HDFS上正常記錄了spark做業日誌，但做業所屬group爲supergroup

sparkHistoryServer報異常，沒有權限訪問歷史job目錄

4.在History Server未查看到剛執行完成的007做業

3.問題緣由

因爲/user/spark/applicationHistory目錄的所屬組爲supergroup，致使全部用戶做業的目錄均爲supergroup組，以前能正常查看的歷史做業因爲目錄的所屬組任爲spark。

4.解決方法

將/user/spark/applicationHistory目錄及該目錄下的子目錄所屬組修改成spark

sudo –u hdfs hadoop dfs –chgrp –R spark /user/spark/applicationHistory

修改後全部歷史做業都可正常查看

醉酒鞭名馬，少年多浮誇！ 嶺南浣溪沙，嘔吐酒肆下！摯友不願放，數據玩的花！