spark streaming 監控方案

SparkStreaming監控從spark2.2.0版本開始支持，目前不支持2.1.0 調研背景介紹 業務反應sparkstreaming任務數據處理存在堆積情況，但是仍然會不斷從kafka拉取數據，針對這種情況調研，給出解決的方案 問題現象描述 如果批處理時間始終大於批處理間隔或者隊列等待延時持續增加，表明系統無法在批處理間隔內處理完畢消息，通過抽查sparkstreaming任務，發現部分任

>>阅读原文<<