hadoop中的JournalNode

 

1.在HADOOP扮演的角色

JournalNode是在MR2也就是Yarn中新加的,journalNode的做用是存放EditLog的,

在MR1中editlog是和fsimage存放在一塊兒的而後SecondNamenode作按期合併,Yarn在這上面就不用SecondNamanode了.

 

 Active Namenode與StandBy Namenode之間的就是JournalNode,做用至關於NFS共享文件系統.Active Namenode往裏寫editlog數據,StandBy再從裏面讀取數據進行同步.

配置文件是；hdfs-site.xml文件負責

 

 最後進程JPS以下圖：

 

2.做用

兩個NameNode爲了數據同步，會經過一組稱做JournalNodes的獨立進程進行相互通訊。當active狀態的NameNode的命名空間有任何修改時，會告知大部分的JournalNodes進程。

standby狀態的NameNode有能力讀取JNs中的變動信息，而且一直監控edit log的變化，把變化應用於本身的命名空間。standby能夠確保在集羣出錯時，命名空間狀態已經徹底同步了。

 

 

3.資源配置

NameNode服務器：運行NameNode的服務器應該有相同的硬件配置。

* JournalNode服務器：運行的JournalNode進程很是輕量，能夠部署在其餘的服務器上。注意：必須容許至少3個節點。固然能夠運行更多，可是必須是奇數個，如三、五、七、9個等等。

當運行N個節點時，系統能夠容忍至少(N-1)/2(N至少爲3)個節點失敗而不影響正常運行。 

在HA集羣中，standby狀態的NameNode能夠完成checkpoint操做，所以不必配置Secondary NameNode、CheckpointNode、BackupNode。若是真的配置了，還會報錯。