ETL公用模塊設計(MongoDB + spark + Python)

--數據庫架構師 之路python 場景: 經過ETL流程收集 ,不一樣的數據源 數據,並放到ods層裏。數據庫 技術選型:MongoDB + spark + Python服務器 主要考慮行業的複雜度,還有不一樣的數據來源數據(包含 txt,jpg,excel,rmdb)架構 後期分析所須要的開發資源,內存計算,有效的發揮DBA 腳本能力。ssh   設計:總體經過配置中心的 進行任務調度,可能有
相關文章
相關標籤/搜索