設計一套實時分佈式日誌流收集平臺(tail Logs --->HDFS)

目前業界大概這麼幾個開源的分佈式日誌系統，notify+rsync，Facebook 的Scribe，apache的chukwa，linkin的kafa和cloudera的flume。 之所以自己設計一臺這麼一個平臺，而沒有采用開源，主要是基於這麼考慮    1、以上這幾種開源日誌系統，雖然提供了日誌tail實時輸出的功能，但是在tail進程宕掉後，無法從收集的點開始收集，只能重新開始，這樣有很多

>>阅读原文<<