Hadoop日誌文件分析系統

項目需求：    需要統計一下線上日誌中某些信息每天出現的頻率，舉個簡單的例子，統計線上每天的請求總數和異常請求數。線上大概幾十臺 服務器，每臺服務器大概每天產生4到5G左右的日誌，假設有30臺，每臺5G的，一天產生的日誌總量爲150G。 處理方案：    方案1：傳統的處理方式，寫個JAVA日誌分析代碼，部署到每臺服務器進行處理，這種方式部署起來耗時費力，又不好維護。    方案2：採用Hado

>>阅读原文<<