大數據測試之Hadoop的基本概念

大數據測試之Hadoop的基本概念

 

     poptest是國內惟一一家培養測試開發工程師的培訓機構，以學員能勝任自動化測試，性能測試，測試工具開發等工做爲目標，也是國內最先探索大數據測試培訓的機構，開發了獨有的課程體系。若是對課程感興趣，請你們諮詢qq：908821478，諮詢電話010-84505200。

 

1、服務形式

       Saas（Software as a Service）基礎設施做爲服務、Paas（Platform as a service）平臺做爲服務、Iaas（Infrastructure as a Service）軟件做爲服務。

 

2、雲計算技術體系結構

      物理資源層：計算機、存儲器、網絡設施、數據庫、軟件。

      資源池層：計算資源池、存儲資源池、網絡資源池、數據資源池、軟件資源池。

      管理中間層：負責資源管理、任務管理、用戶管理和安全管理等工做。

      SOA構建層：服務接口、服務註冊、服務查找、服務訪問、服務工做流。

 

3、HDFS文件系統

      HDFS：用於提供高吞吐量的分佈式文件系統，用GFS實現開源。hadoop分佈式軟件架構的基礎部件。默認每一個數據塊有兩個備份，備份子不一樣的位置上。

      NameNode:HDFS集羣中只有一個NameNode。管理文件系統全部的元數據，包括名字空間、訪問控制信息、文件到塊的映射信息、文件塊的位置信息等。

      DataNode:部署在物理機器上，負責數據的存儲和管理。名字節點用心跳和NameNode指示是否存活。

 

4、MapReduce實現機制

       Map：數據的分片統計。

       Shuffle：數據從Maptask到Reducetask傳輸過程，是mapreduce的核心。

       Reduce：數據的聚合統計。