數據倉庫概念

1、項目需求

• 數據採集平臺搭建
• 實現用戶行爲數據倉庫的分層搭建
• 實現業務數據倉庫的分層搭建
• 針對數據倉庫中的數據進行留存、轉換率、GMV、復購率、活躍等報表分析

2、思考題

• 項目技術如何選型
• 框架版本如何選型（如Apache、CDH、HDP）
• 服務器使用物理機仍是雲主機
• 如何確認集羣規模？（假設每臺服務器8t硬盤）

技術選型：

數據採集傳輸：Flume、Kafka、Sqoop、Logstash、 DataX

數據存儲：Mysql、HDFS、HBase、Redis、MongoDB

數據計算：Hive、Tez、Spark、Flink、Storm

數據查詢：Presto、Druid、Impala、Kylin

 

問題：

kafka消息存HDFS方法？

java代碼消費，而後調用HDFS上傳api或者經過Flume

 

系統數據流程設計