多來源數據採集、處理的數據流程

數據平臺數據處理流程圖 數據準備： 主要分爲幾個來源：FTP數據來源，合作方推送的數據，從攜程對外開放的API接口獲取數據，酒店管理系統日誌數據以及在線旅行社網站的數據源。 數據接入： 針對數據多來源的特性開發針對特定場景的數據接入方式。 a.FTP來源的數據：採用shel腳本開發，包括檢查數據是否準備就緒、開始下載、解密解包、lzop壓縮、put方式上傳文件到HDFS b.合作方推送的數據：搭建

>>阅读原文<<