大數據入門學習之Hadoop技術優缺點

大數據入門學習之Hadoop技術優缺點

(1)Hadoop具備按位存儲和處理數據能力的高可靠性。

(2)Hadoop經過可用的計算機集羣分配數據，完成存儲和計算任務，這些集羣能夠方便地擴展到數以千計的節點中，具備高擴展性。

(3)Hadoop可以在節點之間進行動態地移動數據，並保證各個節點的動態平衡，處理速度很是快，具備高效性。

(4)Hadoop可以自動保存數據的多個副本，而且可以自動將失敗的任務從新分配，具備高容錯性。

.在入門學習大數據的過程中有碰見學習，行業，缺少系統學習路線，系統學習規劃，歡迎你加入個人大數據學習交流裙：529867072 ，裙文件有我這幾年整理的大數據學習手冊，開發工具，PDF文檔書籍，你能夠自行下載。

Hadoop的缺點

(1)Hadoop不適用於低延遲數據訪問。

(2)Hadoop不能高效存儲大量小文件。

(3)Hadoop不支持多用戶寫入並任意修改文件。

Hadoop的核心組件

Hadoop自誕生以來，主要出現了Hadoop一、Hadoop二、Hadoop3三個系列多個版本。

HDFS和MapReduce是Hadoop1的核心組件，Hadoop生態圈裏的不少組件都是基於HDFS和MapReduce發展出來的。在繼Hadoop1以後出現了Hadoop2，Hadoop2在Hadoop1的基礎上作了改進。相比Hadoop1，Hadoop2的三大核心組件分別是HDFS、MapReduce、Yarn。目前市面上絕大部分企業使用的是Hadoop2，本書使用的是Hadoop2.7.3這一版本。

Hadoop2的一個公共模塊和三大核心組件組成了四個模塊，簡介以下。

(1)HadoopCommon：爲其餘Hadoop模塊提供基礎設施。

(2)HDFS：具備高可靠性、高吞吐量的分佈式文件系統。

(3)MapReduce：基於Yarn系統，分佈式離線並行計算框架。

(4)Yarn：負責做業調度與集羣資源管理的框架。