【Hadoop】27-Hadoop的計數器

在許多情況下,用戶需要了解待分析的數據,儘管這並非所要執行的分析任務的核心內容。以統計數據集中無效記錄數目的任務爲例,如果發現無效記錄的比例相當高,那麼就需要認真思考爲何存在如此多無效記錄。是所採用的檢測程序存在缺陷,還是數據集質量確實很低,包含了大量無效記錄?如果確實是數據集的質量問題,則可能需要擴大數據集的規模以增大有效記錄的比例,從而進行有意義的分析。 計數器是收集作業統計信息的有效手段之一
相關文章
相關標籤/搜索