hadoop的dfs.replication和備份數問題

修改master的dfs.replication

 vim etc/hadoop/hdfs-site.xml 

<property>
    <name>dfs.replication</name>
        <value>3</value>
        </property>

能夠經過命令來更改已經上傳的文件的副本數：
hadoop fs -setrep -R 3 /  （指定須要修改備份的路徑）

查看當前hdfs的副本數   hadoop fsck -locations

 Total size:    3535 B
 Total dirs:    1
 Total files:    3
 Total symlinks:        0
 Total blocks (validated):    3 (avg. block size 1178 B)
 Minimally replicated blocks:    3 (100.0 %)
 Over-replicated blocks:    0 (0.0 %)
 Under-replicated blocks:    0 (0.0 %)
 Mis-replicated blocks:        0 (0.0 %)
 Default replication factor:    2
 Average block replication:    2.0
 Corrupt blocks:        0
 Missing replicas:        0 (0.0 %)
 Number of data-nodes:        2
 Number of racks:        1
FSCK ended at Sat May 21 09:49:27 CST 2016 in 9 milliseconds

The filesystem under path '/' is HEALTHY
 

若是你只有3個datanode，可是你卻指定副本數爲4，是不會生效的，由於每一個datanode上只能存放一個副本。

 

一個文件，上傳到hdfs上時指定的是幾個副本就是幾個。之後你修改了副本數，對已經上傳了的文件也不會起做用。能夠再上傳文件的同時指定建立的副本數
Hadoop dfs -D dfs.replication=1 -put 70M logs/2