Hadoop家族shell
PigChukwaHiveHBase數據庫
MapReduceHDFSZooKeeper分佈式
CoreAvrooop
.Core:即Common Hadoop核心spa
.Avro:數據序列化系統排序
.MapReduce:計算模型接口
.HDFS:存儲系統同步
.Chukwa:數據收集系統,顯示,監視,分析數據結果it
.HBase:面向列存儲的數據庫,用於隨機訪問與實時讀寫數據class
.Hive:基於Hadoop的數據倉庫
.Pig:針對MapReduce編寫了一套shell腳本,在此腳本中能夠對加載出的數據進行排序,過濾,求和,分組,關聯。對數據集進行的操做。
.ZooKeeper:是針對分佈式系統的一個協調系統,提供:配置服務,名字服務,分佈式同步,組服務等。目的是:封裝關鍵易錯的服務,暴露優良的接口提供給用戶使用