Hadoop文件系統元數據管理機制

edits log 默認是 64MB,當寫滿的時候或者到必定週期的時候,Namanode就會進行 CheckPoint。Checkpoint是一個內部事件,這個事件激活之後會觸發數據庫寫進程(DBWR)將數據緩衝(DATABUFFER CACHE)中的髒數據塊寫出到數據文件中。node

這裏僅僅是以一份副原本描述,實際上默認是切片後每個切片的數據塊都有三份副本,保存在不一樣的Datanode中,假設有多個不一樣的機架,每一個機架有多臺主機,意味着有多個機架上面的Datanode,每一臺主機做爲一個Datanode,數據塊的副本保存順序是:數據庫

  • 一、先在本機架上面找尋最近的一臺主機保存第一份副本;
  • 二、而後到其餘機架上面隨機選擇一臺主機保存第二份副本;
  • 三、最後再在本機架上面除第一份副本的主機外隨機選擇另外一臺主機保存第三份副本。
如果Namenode宕機了,還可否恢復數據?重啓集羣以後還能提供服務麼?

能夠恢復數據,經過FSimage恢復數據;Namenode宕機了提供不了查詢數據和保存數據的功能,所以不能提供服務。 可使用 多個Namenode副本,副本namenode與namenode的數據保持一致,這裏是HA高可用機制,一個namenode宕機了,由另外一個namenode頂替繼續提供服務。code

相關文章
相關標籤/搜索