一直深深困擾個人問題——hadoop 重啓集羣后,以前運行的job運行狀態都丟失了

努力以後老是存在回報的,我花了三天時間終於找到了問題所在:apache

配置文件yarn-site.xml:oop


<property>
        <name>yarn.resourcemanager.recovery.enabled</name>測試

       <!--默認值爲false,也就是說resourcemanager掛了相應的正在運行的任務在rm恢復後不能從新啓動-->
        <value>true</value>
</property>網站

<property>
        <name>yarn.resourcemanager.store.class</name>spa

        <!--此版本的rmstate信息存放主要有兩種,一種是FileSystemRMStateStore,另外一種是MemoryRMStateStore,還有一種目前較爲主流的是zkstore,正在測試中,2.2版本還未提供-->                     server

        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore</value>
</property>xml

<property>
        <name>yarn.resourcemanager.fs.state-store.uri</name>blog

       <!--此處配置爲hdfs存儲狀態信息,還能夠配置爲存放在本地路徑,之因此存放在hdfs上是考慮都若是rm節點徹底掛掉,還能夠在其餘節點上啓動rm直接讀取hdfs信息,若是放在本地文件系統上還須要進行狀態信息的同步。-->
        <value>hdfs://mycluster/rmstore</value>
 </property>hadoop

 

另外附上 官網地址:http://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 同步

其餘版本本身參考 :

 

我的網站:   http://blog.tbnb1.cn 後期更新所有移到此網站更新

相關文章
相關標籤/搜索