hdfs配置多塊磁盤

hdfs須要存寫大量文件，有時磁盤會成爲整個集羣的性能瓶頸，因此須要優化hdfs存取速度，將數據目錄配置多磁盤，既能夠提升併發存取的速度，還能夠解決一塊磁盤空間不夠的問題。

1. 首先dfs.name.dir和yarn.nodemanager.local-dirs的目錄都不大，徹底能夠不配多磁盤或者只配置2塊磁盤，最主要就是將dfs.data.dir配置成多磁盤。因此只須要修改dfs.data.dir便可：

<property>
    <name>dfs.data.dir</name>    
    <value>/home/bigdata/datac/,/home/bigdata/datac</value>
</property>

1. 若是配置了多磁盤，還須要配置磁盤存放選擇策略，有2中磁盤存放選擇策略，默認是第一種，可是第二種可能效率更高更優秀

<property>
    <name>dfs.datanode.fsdataset.volume.choosing.policy</name>
    <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
 </property>

參考：
hadoop2.0的datanode多目錄數據副本存放策略，hadoop2.0datanode
爲datanode配置多個數據存儲地