hadoop安全模式

HDFS的安全模式

2013年10月14日 ⁄ hadoop及周邊, hdfs ⁄ 共 849字 ⁄ 字號 小 中 大 ⁄ 暫無評論  ⁄ 閱讀 1,047 views 次

在啓動hadoop集羣的時候，集羣的運行會首先進入到安全模式(safeMode)下。

那麼，安全模式是什麼，集羣在安全模式下幹什麼了？

當集羣啓動的時候，會首先進入到安全模式。安全模式是hadoop集羣的一種保護方式。當系統處於安全模式時，會檢查數據塊的完整性。假設咱們設置的副本數（即參數dfs.replication）是5，那麼在dataNode上就應該有5個副本存在，假設只存在3個副本，那麼比率就是3/5=0.6。在配置文件hdfs-default.xml中定義了一個最小的副本率0.999，如圖7-1

圖7-1

咱們的副本率0.6明顯小於0.999，所以系統會自動的複製副本到其餘dataNode，使得副本率不小於0.999。若是系統中有8個副本，超過咱們設定的5個副本，那麼系統也會刪除多於的3個副本。

整體來講，安全模式是hadoop的一種保護機制，用於保證集羣中數據塊的安全性的。

安全模式對咱們有什麼影響哪？

這時，不容許客戶端進行任何修改文件的操做，包括上傳文件、刪除文件、重命名、建立文件夾等操做。好比，建立文件時，在源代碼中就有對安全模式的判斷，如圖7-2

圖7-2

當咱們在安全模式下進行修改文件操做時，會報出以下錯誤，如圖7-3

圖7-3

正常狀況下，安全模式會運行一段時間自動退出的。只須要咱們稍等一會就能夠了。到底等多長時間哪，咱們能夠經過50070端口查看安全模式退出的剩餘時間，如圖7-4。

圖7-4

雖然不能進行修改文件的操做，可是能夠瀏覽目錄結構、查看文件內容的。

咱們能夠控制是否進入或者退出安全模式嗎？

在命令行下是能夠控制安全模式的進入、退出和查看的，

命令hadoop  fs  –safemode  get 查看安全模式狀態

命令hadoop  fs  –safemode  enter 進入安全模式狀態

命令hadoop  fs  –safemode  leave 離開安全模式狀態

操做如圖7-5所示

圖7-5

安全模式，是hadoop集羣的一種保護機制，在啓動時，最好是等待集羣自動退出，而後再進行文件操做。