Hadoop----hdfs的基本操做

HDFS操做文件的基本命令

1.建立文件夾  $>hdfs dfs -mkdir /user/centos/hadoop
2.展現目錄    $>hdfs dfs -ls -r /user/centos/hadoop
3.遞歸展現    $>hdfs dfs -lsr /user/centos/hadoop
4.上傳文件    $>hdfs dfs -put index.html /user/centos/hadoop
5.下載文件    $>hdfs dfs -get /user/centos/hadoop/index.html a.html
6.刪除文件    $>hdfs dfs -rm -r -f /user/centos/hadoop

----------------

HDFS存儲

    500G  文件
    1024G = 2T/4T 文件
    切割。
    //切割    
    block: 切割：128M    緣由： 讓尋址時間佔用讀取時間的1%.
    尋址時間:10ms左右
    磁盤速率 : 100M /s【磁盤I/O】

HDFS 文件存儲： >128M的切割分塊。 若是配置了備份數，則按照備份數進行備份 放到各個數據節點

    size = 181260798
    block-0 : 134217728
    block-1 :  47043070 
    --------------------

    b0.no : 1073741829
    b1.no : 1073741830

找到全部的配置文件
----------------------

1.tar開hadoop-2.7.3.tar.gz
    hadoop-2.7.3\share\hadoop\common\hadoop-common-2.7.3.jar\core-default.xml     文件存放位置    fs.defaultFS=file:///    
    hadoop-2.7.3\share\hadoop\hdfs\hadoop-hdfs-2.7.3.jar\hdfs-default.xml                 文件副本數    dfs.replication 
    hadoop-2.7.3\share\hadoop\mapreduce\hadoop-mapreduce-client-core-2.7.3.jar\mapred-default.xml
    hadoop-2.7.3\share\hadoop\yarn\hadoop-yarn-common-2.7.3.jar\yarn-site.xml

 

2.配置[core-site.xml]文件
    <configuration>
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://s201/</value>
            </property>
            <!--- 配置新的本地目錄 -->
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/home/centos/hadoop</value>
            </property>
    </configuration>

--------基本思路------------------------

1.hdfs dfs -mkdir /usr/centos/hadoop  : 建立文件夾
2.hdfs dfs -lsr /usr/centos/hadoop ：查看文件目錄
3.hdfs dfs -put index.html /usr/centos/hadoop : 上傳文件index.html 到 /usr/centos/hadoop

4.經過上傳文件到hdfs後, namenode名稱節點經過slave配置datanode數據節點後， nn（名稱節點）的hdfs-site.xml中配置了副本數，nm(名稱節點)的hdfs-site.xml中配置數據存放位置。若是上傳的文件 大於128M，hdfs將會對文件進行切割，每塊（blcok）128M[爲了知足 尋址時間爲讀取文件是的的 1%]。