關於從kafka採集數據到flume，然後落盤到hdfs上生成的一堆小文件的總結

採集數據到kafka，然後再通過flume將數據保存到hdfs上面。在這個過程當中出現了一堆的問題。 （1）一直是提醒說必須指定topic，然後發現我kafka用的是0.9.0.1，然而我的flume用的是1.6.然後將flume的版本調爲1.7之後問題解決了。 （2）flume能夠正常啓動。然而這個時候採集的文件是一堆小文件。 然後查看配置文件，修改配置文件。 依然是生成了一堆小文件。最終的解決

>>阅读原文<<