【Hadoop】- HDFS文件系統介紹

HDFS: Hadoop Distributed File System

特色：hadoop分佈式的文件系統，具有高容錯、部署方便的特色，master/slave架構

組件：NameNode和DataNode

• NameNode:名稱節點，記錄HDFS文件所在的Block的大小、部署位置等信息，相似文件索引信息的概念，充當master的角色，整個HDFS文件系統只有一個NamNode節點，爲了保證Hadoop的高容錯的特色，能夠設置secondNameNode，對主NameNode進行數據備份，防止NameNode的單點故障形成HDFS文件系統的崩潰

• DataNode:HDFS文件具體存儲數據的信息，相似數據倉庫的概念，HDFS集羣能夠由多個DataNode組成，實現存儲容量的動態擴容

---

工做流程

1. 客戶端訪問HDFS文件系統時，首先經過TCP協議發送數據給NameNode,NameNode根據內部維持的文件信息，將文件存儲的相關信息反饋給客戶端，客戶端根據NameNode的響應信息，直接對該文件所在的DataNode節點進行讀寫操做

---

高容錯的保障措施：

1. secondNameNode對NameNode進行數據備份，避免單點故障
2. DataNode與NameNode經過心跳信號進行通信，確保DataNode出現故障以後可以進行相應的處理
3. 能夠爲每一個數據塊設置備份數，避免DataNode單節點故障形成數據丟失
4. HDFS提供一種Block動態分配的機制，若是DataNode存儲的文件過多，HDFS會平衡各類因素，將重負荷的DataNode的數據進行其餘DataNode的數據存儲，避免單點DataNode負載過大，形成性能的下降