4-linux、hdfs命令

定義：
　　
　　linux：Linux是一套無償使用和自由傳播的類Unix操做系統，是一個基於POSIX和UNIX的多用戶、多任務、支持多線程和多CPU的
　　　　　　操做系統。它能運行主要的UNIX工具軟件、應用程序和網絡協議。它支持32位和64位硬件。Linux繼承了Unix以網絡爲核
　　　　　　心的設計思想，是一個性能穩定的多用戶網絡操做系統。
　　hdfs：Hadoop分佈式文件系統(HDFS)被設計成適合運行在通用硬件(commodity hardware)上的分佈式文件系統。它和現有的分
　　　　　 布式文件系統有不少共同點。但同時，它和其餘的分佈式文件系統的區別也是很明顯的。HDFS是一個高度容錯性的系統，適
　　　　　 合部署在廉價的機器上。HDFS能提供高吞吐量的數據訪問，很是適合大規模數據集上的應用
———————————————————————————————————————————————————————————————————————————————————————————————————————
*******************************************************linux*******************************************
———————————————————————————————————————————————————————————————————————————————————————————————————————
①命令格式：

    命令  -選項  參數
    單個選項：ls  -l       /us
    多個選項：ls –la  /root

②快捷鍵：

    ctrl + c（中止當前進程）
    

ctrl + z  掛起當前進程，放後臺
    

ctrl + l（清屏，與clear命令做用相同）

    對當前命令行的操做：

    

ctrl + a  行首 
    ctrl + e 行尾  

③基礎命令

——————————————————————————————————————————
1、幫助
——————————————————————————————————————————
    man           
    help            
    --help    

    which       cd               //查看命令所在位置
    whereis    cd              //查看命令所在位置
——————————————————————————————————————————
2、路勁切換
——————————————————————————————————————————
    cd ~    //回到當前用戶home中
    cd /    //回到根下
    cd -    //回到上一次目錄下    
——————————————————————————————————————————
3、目錄
——————————————————————————————————————————
    mkdir         //新建目錄
    mkdir  -p        //遞歸新建目錄

    touch        //新建文件    

    pwd        //當前目錄（絕對路勁）

    ls            //簡略顯示目錄信息，如不加目錄，則表示當前目錄
    ls -l        //詳細顯示 <==>ll
    ls -a        //包括隱藏文件    
    ls -h        //包括文件大小

    例子：    touch  ./a.txt  ./b.txt        //新建文件    
        ls  /etc            //顯示詳細信息
——————————————————————————————————————————
4、複製、粘貼、移動
——————————————————————————————————————————
    cp    
        -r  : 遞歸處理，複製目錄


        -p : 保留文件屬性 （原文件的時間不變）
    

        eg:  cp –R   /ect   /root

    mv    
        eg:  mv    /ect   /root    
·
    rm    
        -r  : 刪除目錄及其全部文件


        -f  : 強制刪除
    

        eg:  rm  –rf   /ect  

——————————————————————————————————————————
5、其餘命令
——————————————————————————————————————————

    cat    
            -a  : 包括隱藏字符


            -n  : 並查看行號


    head    
            -n  : 查看文件前幾行（n爲具體的數字）    
            eg  :  head  –20   ./txt  
    tail    
        -n  : 查看文件後幾行（n爲具體的數字）

    ln    
        ln -s /etc  ./etc_1                //建立文件/etc的軟連接etc_1

    ——————————————————————————————————————
    vim/vi
        Unix / Linux上 經常使用的文本編輯器並且功能很是強大。
        
        a         //進入編輯狀態
        esc      //退出

    ——————————————————————————————————————
    tar
           eg: tar -zcvf dir1.tar.gz  dir1           //將目錄dir1打包並壓縮
           eg: tar -zxvf  dir1.tar.gz -C(大寫的)  /root             //解壓到指定的/root目錄


    ——————————————————————————————————————

    find(文件查找)          
    ——————————————————————————————————————
        -name            //按名稱查找    區分大小寫
        -iname             //按名稱查找    不區分大小寫
        —————————————————————————————————
            *：匹配全部


            ？：匹配單個字符


            eg:find  /etc  -name  「init???」
        —————————————————————————————————
         -size              

            eg:find   /etc -size -10  
            eg:find   /etc -size  10 

            //在etc目錄下找出小於(大於)100MB的文件
        —————————————————————————————————
        -type

             f 二進制文件  l 軟鏈接文件 d 目錄  c 字符文件 

            eg: find /dev -type c
        —————————————————————————————————
    —————————————————————————————————————
    grep(內容查找)
           -c ：輸出匹配行的次數（是以行爲單位，不是以出現次數爲單位）

   
            -i ：忽略大小寫，因此大小寫視爲相同

   
           -n ：顯示匹配行及行號

   
           -v ：反向選擇，顯示不包含匹配文本的全部行。


           eg: grep      「init」/etc/inittab     //顯示在inittab文件中，init匹配行
           eg: grep -n 「init」/etc/inittab     //顯示在inittab文件中，init匹配行及行號
           eg: grep -c「init」/etc/inittab     //顯示在inittab文件中，init匹配了多少次    

    ——————————————————————————————————————
    netstat（網絡端口、鏈接信息）

        -a  :    all顯示全部鏈接和監聽端口
        -t   :    (tcp)僅顯示tcp相關選項
        -u  :    (udp)僅顯示udp相關選項
        -n  :    使用數字方式顯示地址和端口號
        -p  :    顯示socket的PID和進程的名字
        -l   ：（listening） 顯示監控中的服務器的socket
    

        eg  :    netstat -nltp               //查看端口信息

        eg  :    netstat -nltp | grep 80         //查看端口80的信息
    ——————————————————————————————————————
    ps（進程信息）

        -a：顯示全部用戶的進程
        -u：顯示用戶名和啓動時間
        -x：顯示沒有控制終端的進程
        -e：顯示全部進程，包括沒有控制終端的進程
        -l：長格式顯示    
        -f:   進程的詳細信息
                      
        eg  :     ps -ef              //查看全部進程及詳細信息（經常使用）

    Kill

        kill -9 進程號        //（強行關閉） 經常使用

        kill -1 進程號        //（重啓進程）

    ——————————————————————————————————————
    shutdown
        -h:關機   


        -r:重啓
    

        shutdown -h  now  當即關機     
        shutdown  -h  20:30   定時關機    
    ——————————————————————————————————————

——————————————————————————————————————————
④配置命令：
——————————————————————————————————————————

    service network restart    //重啓網絡，配置ip使用
    source  /etc/profile        //刷新環境變量

    vi /etc/hostname        //配置主機名稱，配置以後不須要刷新
    vi /etc/hosts        //配置主機映射

    vi /etc/profile        //環境變量

    cd /etc/sysconfig/network    //ip配置目錄


    scp -r /opt/app/hadoop s11:/opt/app/                //遞歸分發

    sudo chown -R hadoop:hadoop /opt/app/zookeeper-3.4.10/    //更改所屬

——————————————————————————————————————————
⑤用戶管理命令：
——————————————————————————————————————————
    
    useradd        用戶名
    
    passwd
         用戶名

    userdel         用戶名
    userdel    -r  用戶名            //刪除用戶以及home下的文檔

    chown      root:root  ./dir     //修改dir的全部者和所屬組 
    chown –R root:root  ./dir     //修改dir及其子目錄的全部者和所屬組 （必須大寫R）

    用戶權限：u(所屬者:4)，g(所屬組:2)，o(其餘:1)
    
    chmod u+x,o-x a.txt    //給所屬者增長執行權限，
                //其餘減去執行權限

    chmod 777 a.txt        

———————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————
*******************************************************HDFS命令****************************************************************************************************
———————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————
1、DFS命令（最好寫絕對路勁）
————————————————————————————————————————————————————————————————————    
————————————————————————————————————————————————————————————————————

        [-mkdir [-p] <path> ...]                //建立文件夾
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]        //刪除一個文件、非空文件夾，
        [-rm [-f] [-r|-R] [-skipTrash] <src> ...]            //遞歸刪除文件及文件夾

         [-put [-f] [-p] [-l] <localsrc> ... <dst>]              //上傳文件到HDFS
         [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]      //下載文件到本地
 
         [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]     //從本地拷貝文件到HDFS上
        [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]   //從HDFS上拷貝文件到本地

        [-moveFromLocal <localsrc> ... <dst>]              //從本地剪切文件到HDFS上
         [-moveToLocal <src> <localdst>]                  //從HDFS上剪切文件到本地

         [-cat [-ignoreCrc] <src> ...]                              //只能查看普通的文件，不能查看二進制的文件
         [-text [-ignoreCrc] <src> ...]                 //text 能夠查看全部類型的文件 

          [-df [-h] [<path> ...]]                       //查看HDFS上可用空間
          [-du [-s] [-h] <path> ...]                     //統計文件或者文件夾的大小

          [-chgrp [-R] GROUP PATH...]                //修改權限
          [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]    //修改權限
          [-chown [-R] [OWNER][:[GROUP]] PATH...]        //修改權限
    _________________________________________________________________________________________________________________
    eg:

        hdfs dfs                             //查看全部dfs命令

        hdfs dfs     -help  cat                    //幫助命令，命令參數沒有-


        hdfs dfs     -mkdir -p        /input/input2/input3            //建立文件夾
        hdfs dfs     -rm  -r -f        /input/input2/input3            //強制遞歸刪除文件

        hdfs dfs     -put  -p        /root/local2        /            //上傳文件夾    
        hdfs dfs     -put  -P        /root/local2/*       /input            //上傳文件
        hdfs dfs     -put  -P        /root/1.txt       /1.xml            //上傳文件並更名

        hdfs dfs     -get  -p         /input     /root/local2        //下載文件夾    
        hdfs dfs     -get  -p        /input/*    /root/local2        //下載文件

        copyFromLocal                        
        copyToLocal                         
        moveFromLocal 
        moveToLocal 

        hdfs dfs     -cat          /input/1.txt                //查看內容,不能查看二進制文件
        hdfs dfs     -text        /input/1.txt                //查看內容    
    
        hdfs dfs     -df          /input                    //產看可用空間
        hdfs dfs     -du        /input/1.txt                //統計文件或者文件夾的大小

        hdfs dfs     -chown  -R  hadoop:hadoop  /input            //遞歸修改權限
        hdfs dfs     -chomd -R  777          /input            //遞歸修改權限


        hdfs dfsadmin -safemode <enter | leave | get | wait>        //設置安全模式，剛開始啓動HDFS時，前30s是安全模式，只讀

        hdfs dfsadmin -enter                    //進入安全模式
        hdfs dfsadmin -leave                    //離開安全模式

        hdfs dfsadmin -refreshNodes                    //刷新hdfs
        yarn rmadmin -refreshNodes                    //刷新yarn
————————————————————————————————————————————————————————————————————
————————————————————————————————————————————————————————————————————