Spark Streaming 在數據平臺日誌解析功能的應用

目前支持解析的日誌類型包括：Hive 任務、Spark 任務、Datay 增量任務、導入任務、導出、MR 任務、Hbasebulk、腳本任務等。dataplatform 支持的調度類型爲：批量重跑、測試類型、正常調度和手動導入任務。 一、日誌解析功能的背景 通過日誌，我們可以獲得很多有用的信息，最常見的日誌信息包括應用產生的訪問日誌、系統的監控日誌，本文所針對的日誌是大數據離線任務產生的運行日誌。

>>阅读原文<<