hadoop介紹

hadoop：是java寫的一個框架，能夠理解成java寫的一個應用，他主要是用來分佈式存儲和分佈式計算。

1 爲何須要分佈式存儲，由於單臺設備不夠存儲，實現辦法的hadoop分佈式是文件系統hdfs

2 分佈式計算：由於數據量很大、一臺機器硬件資料有限，實現辦法是yarn和MapReduce、yarn是資料的管理系統，MapReduce是把計算分發到yarn是進行處理，爲何須要yarn是由於在計算過程當中會出現資源的爭奪等等，須要yarn統一管理，MapReduce分兩個過程，map和reduce。

 

hadoop的基本組件

1 通用組件、好比rpc調用

2 HDFS分佈式文件系統、用來分佈式存儲。

3 yarn分佈式資源管理

4 MapReduce分佈式批處理

 

hadoop生態遊不少組件

hive

HBASE

spark

等等