hadoop集羣部署注意問題

一、namenode 或datanode 被迫升級。node

1)降級namenode,缺點:須要中止服務,不肯定性因素太多(降級可能會致使全部數據丟失),測試周期長且複雜;優勢:只要操做一個節點服務器

2)升級全部的datanode,缺點:須要操做集羣全部機器(也能夠只升級單臺機器);優勢:測試簡單,風險小oop

很明顯,第二種方案是優選方案,測試過程以下:測試

1)找一臺採集服務器,上面已經部署了hadoop客戶端,啓動datanode,成功,日誌信息顯示版本爲:203.1ui

2)刪除build目錄,再次啓動datanode,失敗日誌

3)恢復build目錄,再次啓動datanode,成功xml

4)將build目錄拷貝到出錯的datanode上,修改hdfs-site.xml配置,將data目錄修改成新建目錄,啓動datanode,成功hadoop

5)將data目錄修改成最原始的配置,啓動datanode,成功部署

第二種方案測試成功,在namenode上運行fsck命令,正常輸出。it

因而升級整個集羣,到目前爲止,集羣運行正常。

相關文章
相關標籤/搜索