Hadoop基礎

在慕課網學習了一門《Hadoop基礎及演練》網絡課程，時間很短，一個多小時的課程大體瞭解了Hadoop生態圈。

 

Hadoop的核心設計有HDFS（分佈式文件系統）和MapReduce（海量數據存儲計算）

HDFS有三個核心概念，數據塊，NameNode,DataNode。NameNode是存儲，DataNode響應來自HDFS客戶機的讀寫請求，還響應來自NameDode的建立，刪除和複製。一般一個NameNode對應多個DataNode。

 Hadoop生態圈幾個框架

HBase：高可靠，高性能，面向列，可伸縮，實時讀寫的分佈式數據庫。

關鍵詞：主鍵，列族。

 

Spark:基於內存計算的大數據並行計算框架，是MapReduce的替代方案。