數據計算中間件技術綜述

傳統企業大數據架構的問題   上圖是大家都很熟悉的基於 Hadoop 體系的開源大數據架構圖。在這個架構中，大致可以分成三層。最下一層是數據採集，通常會採用 kafka 或者 Flume 將 web 日誌通過消息隊列傳送到存儲層或者計算層。對於數據存儲，目前 Apache 社區提供了多種存儲引擎的選擇，除了傳統的 HDFS 文件和 HBase，還提供了 Kudu、ORC、Parquet 等列式存儲

>>阅读原文<<