查看spark任務日誌的幾種方式

    spark運行的任務往往通過web來查看，但是，當運行的是sparkStreaming任務時，日誌往往會很大，web查看並不方便，因此需要定位到服務器上去看。下面將分別介紹兩種查看driver端和executor端日誌的方式。 一、web端日誌的查看： 下面是四個yarn調度spark任務的web總界面： 點擊第一個任務：application_1509845442132_3866  進入

>>阅读原文<<