大數據項目內容紀要(持續更新中)

摘要

做爲一個本科主修統計學的學渣,畢業時爲了圖一時安逸,選擇了入職本省的某製造業企業。本覺得在這根本沒我半點容身之處,卻意外遇上了公司的大數據項目。轉眼參加項目開發及後期運維有10個月了,本帖就是回顧一下我在項目中接觸到的方方面面,整理成文,加深本身對這個項目的認識。架構

項目架構

本次項目是由乙方公司進行實施,借鑑他們以前的成熟的架構,搭建咱們本身的大數據平臺。目前就我接觸到的東西羅列一下:運維

1、開發工具

  • 報表工具:永洪
  • ETL工具:kettle
  • 數據倉庫:Hive、Impala
  • 代碼版本控制:SVN

2、平臺組件

  • 調度平臺
  • 補錄平臺
  • 用戶權限管理平臺
  • 數據質量平臺
  • 元數據管理平臺

3、平臺組件圖示

相關文章
相關標籤/搜索