58招聘數據倉庫技術架構圖

數據源有三個來源 1.自己的後端表（包括mysql和hive） 2.APP自己的埋點日誌 3.其他部門的hive表 ODS層數據抽取 1.Flume抽取埋點日誌 2.kafka抽取實時信息並存入HDFS 3.Sqoop抽取mysql表 DW層對數據進行加工 1.spark、hive直接處理表，歸類成維度表和事實表 2.spark、MR處理日誌文件成事實表 3.sparkstreaming直接處理k

>>阅读原文<<