數據平臺 & 數據採集全流程刨析 & 面試準備tip - 20181227

數據平臺 爲什麼建設數據平臺？ 當公司業務多元化，有多條業務線，如oms、wms、bms、tms、erp、oa十幾種業務系統，導致需求變化多。 數據生命週期： 產生(業務系統庫mysql，tms，日誌存儲)， 傳輸(中間件Kafka)， 入庫(HDFS --> hive + hbase)， '統計、分析、挖掘'(Spark、Flink) 基礎平臺的穩定性。 架構1.0版本 初期單純的是，MySQL

>>阅读原文<<