採集方式聚集(sqoop、spark、flume、logstash、filebeat)

前文：            數據倉庫中ods層通常使用外部表，通常默認採用 \001 做爲分隔符，但textfile格式在遇到文本數據就會有分隔符及換行符問題，因此採用parquet做爲存儲格式，但也會引進數據類型轉換的問題。java             對於日誌數據，kafka中常常存放不一樣來源的日誌數據，可經過Flume的正則匹配將數據發送到不一樣的hdfs文件夾。mysql    

>>阅读原文<<