HDFS 在clientProtocol 中出現的基本概念的抽象

1. 數據塊node

在 HDFS 中抽象爲 block ,包含三種成員變量:blockID、numbytes(文件數據大小)、generationStamp(數據塊版本號。每次對數據塊修改,版本號都會修改,還用於數據一致性檢查,具備相同 blockID 可是版本號不一樣的數據塊至少有一個是無效的 ,須要刪除)數組

數據塊名詞爲 blk_<blockid>對象

locatedBlock:已經肯定了儲存位置的數據塊,成員變量有 block 、數據塊所在節點信息 locs、數據塊在對應文件中的偏移量,locs 是一個類型爲 DatanodeDeInfo 的數組,包含了全部可用的數據塊的位置。io

locatedBlocks:能夠用於一次定位多個數據塊,包含一系列的 locatedblock 對象。集羣

2. 與 datanode 相關:datanodeID、datanodeinfo變量

datanodeID:做用是在集羣中惟一肯定某一數據節點能夠從中獲取到數據節點的主機地址。數據

datanodeinfo:提供附加信息,包括容量、已使用容量、剩餘容量、數據節點在集羣中的位置,數據節點狀態信息等。db

相關文章
相關標籤/搜索