Hadoop-2.7.7 給HDFS的datanode增長新磁盤的注意事項【踩坑記錄】

附上Hadoop-2.7.7集羣設置官網文檔：

http://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-common/ClusterSetup.html

Hadoop-2.7.7 hdfs-site.xml完整版配置模板：

http://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

hdfs-site.xml文件配置項說明：

dfs.datanode.data.dir

逗號分隔的DataNode本地文件系統上的路徑列表，它應該存儲其塊。若是隻有一塊磁盤，直接寫就能夠了

若是是逗號分隔的目錄列表，則數據將存儲在全部命名目錄中，一般位於不一樣磁盤上。

 示例：

<!-- hadoop的dfs.datanode.data.dir是設置datanode節點存儲數據塊文件的本地路徑，一般能夠設置多個，用逗號隔開 -->
<!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>這裏寫你的Hostname:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/extdisk/soft/hadoop-2.7.7/data/tmp</value>
    </property>
    <property>
         <name>dfs.namenode.name.dir</name>
         <value>/extdisk/soft/hadoop-2.7.7/data/tmp/dfs/name</value>
    </property>
    <!-- 注意這裏的逗號分隔 -->
    <property>
         <name>dfs.datanode.data.dir</name>
         <value>/extdisk/soft/hadoop-2.7.7/data/tmp/dfs/data,/data1/dfs/datanodedir</value>
    </property>
    <!-- 平衡策略，推薦使用 -->
    <property>
         <name>dfs.datanode.fsdataset.volume.choosing.policy</name>
         <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
    </property>
</configuration>

附效果圖：

注意來自有些博客的安裝文檔中，會把這些配置項寫到 core-site.xml中 而不是 hdfs-site.xml中。

如此一來，無論你怎麼配置都不生效！ 

切記這個配置是在hdfs-site.xml 中！ 

配置成功後重啓data-node便可

配置成功後,打開50070端口管理界面: http://你的IP地址:50070/dfshealth.html#tab-overview

 

查看一下Datanodes