一第二天志採集中sparkstreaming消費kafka遇到的問題

目前小程序日誌採集的項目流程： Flume監控Tomcat日誌文件，將日誌批次量的發送到kafka中，由SparkStreaming程序消費Kafka中的消息，進而將寫到Mysql表中。 項目架構：Tomcat–>Flume–>Kafka–>SparkSreaming–>Mysql 優化以前遇到的問題： 1.Flume監控Tomcat日誌文件時，所屬進程容易掛。 2.Kafka沒法接受單條消息大於

>>阅读原文<<