hadoop學習 Hadoop（一）之初識大數據與Hadoop Hadoop（五）搭建Hadoop客戶端與Java訪問HDFS集羣 Hadoop（六）之HDFS的存儲原理（運行原理）

Hadoop（一）之初識大數據與Hadoop

Hadoop（五）搭建Hadoop客戶端與Java訪問HDFS集羣

Hadoop（六）之HDFS的存儲原理（運行原理）

Hadoop是一個分佈式系統基礎架構，由Apache基金會開發。用戶能夠在不瞭解分佈式底層細節的狀況下，開發分佈式程序。充分利用集羣的威力高速運算和存儲。

Hadoop實現了一個分佈式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有着高容錯性的特色，而且設計用來部署在低廉的（low-cost）硬件上。並且它提供高傳輸率（high throughput）來訪問應用程序的數據，適合那些有着超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣能夠流的形式訪問（streaming access）文件系統中的數據。

Hadoop 是一個可以對大量數據進行分佈式處理的軟件框架。可是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，由於它假設計算元素和存儲會失敗，所以它維護多個工做數據副本，確保可以針對失敗的節點從新分佈處理。Hadoop 是高效的，由於它以並行的方式工做，經過並行處理加快處理速度。Hadoop 仍是可伸縮的，可以處理 PB 級數據。此外，Hadoop 依賴於社區服務器，所以它的成本比較低，任何人均可以使用。

Hadoop帶有用Java 語言編寫的框架，所以運行在 Linux 生產平臺上是很是理想的。

 

HDFS：海量數據存儲

MapReduce：海量數據分析