離線大數據調度框架 -- 1、需求分析

1、啓動flume將指定文件【文件內容每一分鐘增加若干行，模擬nginx日誌】自動同步到HDFS。     要求： 將文件歸檔時間設置爲1小時； 歸檔文件存儲格式設置爲LZO； HDFS文件按天分文件夾進行存儲，不能全部同步到一個文件夾中； 2、配置MR任務並依賴flume任務     要求： 將日誌文件解析到hive表每天對應的分區中 查看每天分區日誌裏面是否有其它天的日誌【Event Time

>>阅读原文<<