Linux下的shell編程(基礎)

一.Shell介紹：shell是一個命令行解釋器，腳本語言，活動在應用程序與內核之間，用於接收應用程序(用戶)命令，調用操做系統內核。

（1）編譯型語言:

程序在執行以前須要個專門的編譯過程，把程序編譯成爲機器語言文件，運行時不須要從新翻譯，直接使用編譯的結果就好了。程序執行效率高，依養編譯器，跨平臺性差些。如C、C++、java

（2）解釋型語言:

程序不須要編譯，程序在運行時由解釋器翻譯成機器語言，每執行一次都要翻譯一次。所以效率比較低。好比Python/javaScript/Shell等都是解釋型語言。

---

 

2、Shell解析器

（1）Linux提供的Shell解析器有：

 

[root@Linux01 home]#  cat /etc/shells

/bin/sh	是bash的一個快捷方式
/bin/bash	bash是大多數Linux默認的shell，包含的功能幾乎能夠涵蓋shell全部的功能
/sbin/nologin	表示非交互，不能登陸操做系統
/bin/dash	小巧，高效，功能相比少一些
/bin/tcsh	具備C語言風格的一種shell，具備許多特性，可是也有一些缺陷
/bin/csh	是csh的加強版本，徹底兼容csh

 

（2）bash和sh的關係：

[root@Linux01 bin]#  ll  | grep bash
-rwxr-xr-x. 1 root root 942200 3月 23 2017 bash
lrwxrwxrwx. 1 root root 4 6月 29 19:35 sh -> bash

（3）Centos默認的解析器是bash

[root@Linux01 bin]#  echo $SHELL
/bin/bash

---

 

3、Shell腳本入門

一句話歸納：簡單來講腳本就是將須要執行的命令保存到文本中，按照順序執行（由上往下執行），它是解釋型的，不須要編譯。

1．腳本格式

腳本以#!/bin/bash或者#!/bin/env bash開頭（指定解析器）

腳本中間寫註釋信息內容，單行註釋#  多行註釋 :<<EOF   EOF       註釋內容以下：

<<EOF
name:second-shell.sh
desc:建立文件，在文件中添加內容，打印信息
update：2020-07-02
path:/home
EOF

而後寫腳本內容

2．第一個Shell腳本：輸出helloworld

（1）需求：建立一個Shell腳本，輸出helloworld

（2）案例實操：

[jinghang@hadoop101 datas]$ touch helloworld.sh

[jinghang@hadoop101 datas]$ vi helloworld.sh

 在helloworld.sh中輸入以下內容

#!/bin/bash

echo "helloworld"

運行腳本，會輸出 helloWord

　　三、腳本的經常使用執行方式

第一種：

採用bash或sh+腳本的相對路徑或絕對路徑（不用賦予腳本+x權限）

       sh+腳本的相對路徑

[jinghang@hadoop101 datas]$ sh helloworld.sh

Helloworld

       sh+腳本的絕對路徑

[jinghang@hadoop101 datas]$ sh /home/jinghang/datas/helloworld.sh

helloworld

       bash+腳本的相對路徑

[jinghang@hadoop101 datas]$ bash helloworld.sh

Helloworld

       bash+腳本的絕對路徑

[jinghang@hadoop101 datas]$ bash /home/jinghang/datas/helloworld.sh

Helloworld

第二種：

採用輸入腳本的絕對路徑或相對路徑執行腳本（必須具備可執行權限+x，推薦採用這種方式）

（a）首先要賦予helloworld.sh 腳本的+x權限

[jinghang@hadoop101 datas]$ chmod +x helloworld.sh

（b）執行腳本

相對路徑

[jinghang@hadoop101 datas]$ ./helloworld.sh

Helloworld

絕對路徑

[jinghang@hadoop101 datas]$ /home/jinghang/datas/helloworld.sh

Helloworld

注意：第一種執行方法，本質是bash解析器幫你執行腳本，因此腳本自己不須要執行權限。第二種執行方法，本質是腳本須要本身執行，因此須要執行權限。

四、查看腳本的執行流程（通常使用這個命令來查看腳本執行的步驟）

[jinghang@hadoop101 datas]$ bash -x  batch.sh

五、查看腳本的語法（通常使用這個命令來檢查腳本語法錯誤）

[jinghang@hadoop101 datas]$ bash -n  batch.sh

---

 

四、shell變量：變量是用來臨時保存數據的，該數據是能夠變化的數據

1. 讀取Shell中全部變量命令：set    讀取環境變量：env

2. 系統變量
   a）$HOME、$PWD、$SHELL、$USER
   b）讀取變量：echo $變量名

3. 自定義變量
   a）用戶變量
       做用域（只在當前會話的當前用戶下有效）
       定義變量：
           變量名=值
           變量名=`執行命令`
           變量名=$(執行命令)
       讀取變量：echo $變量名
             echo ${A:2:3}  (切片，讀取變量幾位，索引從0開始，第一個冒號後面表明索引開始位置，第二個冒號後面表明讀取幾位)
             echo ${A}
             echo $A
       撤銷變量：unset 變量名
       靜態變量（一旦建立，只可讀，不能unset）: readonly 變量名=值
       定義有類型的變量
           目的：給變量作一些限制，固定變量的類型
           語法：declare 選項 變量名=變量值
           經常使用選項
               -i 將變量看做整數
               -r 建立只讀變量
   b）全局環境變量
       做用域（針對於當前會話下的全部用戶有效）
       關鍵字：export
       定義變量：export 變量名=值
       撤銷和讀取同上
   c）系統環境變量
       做用域（針對於全部會話下的全部用戶都有效）
       編輯配置文件：vim /etc/profile
           例如添加系統環境變量 MYNAME=jinghang
               #系統環境變量
               export MYNAME=jinghang
      變量生效：source /etc/profile
          
      經驗技巧：
       （1）變量名稱能夠由字母、數字和下劃線組成，可是不能以數字開頭，環境變量名建議大寫。
       （2）等號兩側不能有空格
       （3）在bash中，變量默認類型都是字符串類型，沒法直接進行數值運算。
       （4）變量的值若是有空格，須要使用雙引號或單引號括起來。

4. 特殊變量

             a）$n
　　　　語法：$n （功能描述：n爲數字，$0表明該腳本名稱，$1-$9表明第一到第九個參數，十以上的參數，十以上的參數須要用大括號包含，如${10}）
　　   b）$#
　　　　語法：$# （功能描述：獲取全部輸入參數個數，經常使用於循環）
　　   c）$*
　　　　語法：$* （功能描述：這個變量表明命令行中全部的參數，$*把全部的參數當作一個總體）
　   　d）$@
　　　　語法：$@ （功能描述：這個變量也表明命令行中全部的參數，不過$@把每一個參數區分對待）
　　   e）$?
　　　　語法：$？ （功能描述：最後一次執行命令的返回狀態。若是值爲0，命令正確執行；若是值爲非0（具體是哪一個數，由命令本身來決定），則命令執行不正確）

---

五、shell數組

• 定義：

        Shell 數組用括號來表示，元素用"空格"符號分割開，若是元素中包含空格，則該元素使用雙引號引發來，例如"hello word"

• 語法：

        往數組裏添加值，數組的長度自增，元素索引從0開始
          數組名=(value1 value2 value3)

• 賦值：

        建立時添加 數組名=(A B "C B" D)
          建立後添加 數組名[4]=E

• 修改：

        局部：根據索引修改數組   例如：數組名[0]=F
          總體：能夠直接給數組變量從新賦值

• 讀取：

        獲取數組中全部的元素：echo ${數組名[*]} 或者 echo ${數組名[@]}
          根據索引讀取數組元素：echo ${數組名[索引值]}
          獲取數組的長度：echo ${#數組名[*]} 或者 echo ${#數組名[@]}

• 刪除：

        unset 關鍵字來刪除數組元素，格式以下：
            unset  數組名[index]
          不寫下標，刪除整個數組，格式以下：
            unset 數組名

---

 

六、Shell中的運算符

• 整數運算語法(默認)：

    （1）$(( 運算式 ))   或  $[運算式] 
     （2）運算符   + , - , *, /, %   加，減，乘，除，取餘

     （3）運算式要與小擴號之間有空格，中括號的話不用加空格

　 （4）expr + , - , \*, /, % 加，減，乘，除，取餘   注意：expr表達式運算符間要有空格   例如 expr $A  +  $B

• 小數運算：

       bc：Linux下的一個計算器程序，能夠處理整數和小數。Shell 自己只支持整數運算，想計算小數就得使用 bc 這個外部的計算器
        在 Shell 腳本中，藉助管道或者輸入重定向來使用 bc 計算器。
        語法：echo "scale=要保留的小數位數 ; 計算式" | bc
            expression就是但願計算的數學表達式
        案例1：計算3*8/7 結果保留4位小數
            echo "scale=4; 3*8/7" | bc
        案例2：計算3*8/7 ，再乘5，結果保留3位小數
            echo "scale=3; 3*8/7*5" | bc
        案例4：計算4/9，保留2位，結果賦值給ret變量
            ret=$(echo "scale=2;4/9" | bc)

---

 

七、Shell條件判斷

• 語法：

        注意：條件非空即爲true，[ 判斷式 ]返回true，[判斷式] 返回false。[ 判斷式 ]（注意判斷式先後要有空格）

• 經常使用條件判斷

    （1）兩個整數之間比較
            -lt 小於（less than）
            -le 小於等於（less equal）
            -eq 等於（equal）
            -gt 大於（greater than）
            -ge 大於等於（greater equal）
　　　 -ne 不等於（Not equal）
    （2）按照文件權限進行判斷
　　    -r 有讀的權限（read）
　　      -w 有寫的權限（write）
　　      -x 有執行的權限（execute）
    （3）按照文件類型進行判斷
　　    -f 文件存在而且是一個常規的文件（file）
　　      -e 文件存在（existence）
　　      -d 文件存在並是一個目錄(判斷目錄)（directory）

• 案例：

        多條件判斷（&& 表示前一條命令執行成功時，才執行後一條命令，|| 表示上一條命令執行失敗後，才執行下一條命令）
            [jinghang@hadoop101 ~]$ [ condition ] && echo OK || echo NOTOK
            OK
            [jinghang@hadoop101 ~]$ [ condition ] && [ ] || echo NOTOK
            NOTOK

 

---

八、Shell流程控制　

• if 判斷語句

        注意事項：
        （1）[ 條件判斷式 ]，中括號和條件判斷式之間必須有空格
        （2）if後要有空格

        語法1：
            if [ 條件判斷式 ]
            then
                主體代碼
            fi
        語法2：
            if [ 條件判斷式 ]
            then
                主體代碼
            else
                主體代碼
            fi
        語法3：
            if [ 條件判斷式 ]
            then
                主體代碼
            elif [條件判斷式]
            then
                主體代碼
            else
                主體代碼
            fi

• case 判斷語句

        基本語法：
            case $變量名 in
                    "值1"）
                    若是變量的值等於值1，則執行程序1
                    ;;
                    "值2"）
　　　　　  若是變量的值等於值2，則執行程序2
　　　　      ;;
　　　　      …省略其餘分支…
                    *）
                    若是變量的值都不是以上的值，則執行此程序
                     ;;
              esac
        注意事項：
             1)case行尾必須爲單詞「in」，每個模式匹配必須以右括號「）」結束。
　　      2)雙分號「;;」表示命令序列結束，至關於java中的break。
　　      3)最後的「*）」表示默認模式，至關於java中的default。

• for 循環語句

        基本語法：
　　    語法一
　　        for  (( 初始值;循環控制條件;變量變化 ))
　　　　 do
　　                邏輯代碼
　　        done
　　    語法二
                $* : 讀取傳入腳本中的所有參數,把參數看做一個總體
                $@ : 讀取傳入腳本中的所有參數,把參數區分對待

 

                    for 變量 in "$*或者$@"
                    do
                         邏輯代碼
                    done

　　    注意：for 與 ( 號之間要有空格

• while 循環語句

        基本語法
　　    while [ 條件判斷式 ]
　　    do
　　        邏輯代碼
　　    done
　　注意：While 與 [ 號之間要有空格

---

九、read讀取控制檯輸入

• 基本語法：read 【選項】【參數】

　　    選項
　　        -p 指定讀取值時的提示符；
　　        -t 指定讀取值時等待的時間（秒);
　　       參數：指定讀取值的變量名

• 案例

　　    一、請在3秒內輸入用戶名　

　　    [root@Linux01 home]# read -p "請在3秒內輸入用戶名:" -t 3 name
　　    請在3秒內輸入用戶名:zhangsan

　　二、經過read定製菜單欄

　　    cat <<-EOF

　　   1：表明對數據進行倒序排列
　　    2：表明對數據進行正序排列
　　   EOF
　　    read -p "請在20秒內輸入數字：" -t  20 num

---

 

十、Shell函數　　

•  系統函數

　　    basename
　　        basename 命令會刪掉全部的前綴包括最後一個（‘/’）字符，而後將字符串顯示出來(去掉路徑，只顯示最後的文件名)
　　        例如：[root@Linux01 home]# basename /home/test/ccc.txt
　　　　　　    ccc.txt

　　    dirname
　　        從給定的包含絕對路徑的文件名中去除文件名，而後返回剩下的路徑(去掉文件名，只顯示文件名以前的絕對路徑)
　　        例如：[root@Linux01 home]# dirname /home/test/ccc.txt
　　　　　　     /home/test

•  自定義函數

        語法：
　　    function 函數名()
　　    {
　　　　 方法體
　　        [return int;]
　　    }

　　　　    編寫完腳本以後，執行腳本，就能調用函數了，直接輸函數名就能夠(在外部調用)；在腳本內部調用函數直接函數名就能夠。
　　經驗技巧
        （1）必須在調用函數地方以前，先聲明函數，shell腳本逐行運行。不會先編譯。
           （2）函數返回值，只能經過$?系統變量得到，能夠顯示加：return返回，若是不加，將以最後一條命令運行結果，做爲返回值。return後跟數值n(0-255)
　　    建立用戶函數(只能當前用戶調用)

　　　　1.在用戶的家目錄中(/home/用戶名)找到隱藏文件.bashrc進行編寫函數

　　　　     2.source  .bashrc

　　　　     3.如今就能直接調用函數了

 　 建立系統函數(全部用戶和會話可調用，重啓後仍可調用)

　　　　1.root用戶在/etc/bashrc文件下編寫函數

　　　   　二、source  /etc/bashrc

　　　       3.全部用戶均可直接調用

 

---

 

十一、 shell文本處理工具

•  cut(查看)

      功能描述：cut的工做就是「剪」，具體的說就是在文件中負責剪切數據用的，cut指令用於顯示行中的指定部分，刪除文件中的指定字段。
        語法：cut 【選項】【文件】
        選項 
            -b <起始字節位置-結束字節位置> 僅顯示行中指定字節範圍的內容。例如，「-b 2-10」將顯示第2~10個字節位置的內容,當只有一個數字時，則僅顯示指定字符位置的內容.
            -f <起始列位置-結束列位置> 顯示指定列的字段內容
            -d <分隔符> 指定字段的分隔符，默認的字段分隔符爲「TAB」
            -c <起始字符位置-結束字符位置> 僅顯示行中指定範圍的字符。例如，「b2-10」 將顯示第2~10個字符位置的內容。當只有一個數字時，則僅顯示指定字符位置的內容
　　 案例：
　　　　切割ifconfig 後打印的IP地址，顯示ip地址前3位
　　　　　　ifconfig eth0 | grep "inet addr" | cut -d : -f 2 | cut -d " " -f 1 | cut -c 1-3

• sort(查看)

　  功能描述：它將文件進行排序，並將排序結果標準輸出
　　語法：sort 【選項】【參數】
　　    選項
　　        -n 依照數值的大小排序
　　        -r 以相反的順序來排序
　　        -t 設置排序時所用的分隔字符
　　        -k 指定須要排序的列
　　    參數：是指待排序的文件
　　案例：
　　　　將用戶列表按照主ID進行倒序排列

　　　　[mayun@Linux01 home]$  sort -t : -nrk 4 /etc/passwd

 

• 正則表達式

　  概述：正則表達式，又稱規則表達式。（英語：Regular Expression，在代碼中常簡寫爲regex、regexp或RE）。正則表達式一般被用來檢索、替換那些符合某個模式(規則)的文本
　　單字符匹配
　　　　\d 匹配一個數字字符。等價於[0-9]
　　　　\D 匹配一個非數字字符。等價於[^0-9]
　　　　\w 匹配包括下劃線的任何單詞字符。相似但不等價於[A-Za-z0-9_]
　　　　\W 匹配任何非單詞字符。等價於 [^A-Za-z0-9_]
　　　　\s 匹配空白字符，包括空格、製表符、換頁符等等，等價於[ \f\n\r\t\v]
　　　　\S 匹配任何可見字符。等價於[^ \f\n\r\t\v]
　　　　.點 匹配除「\n」和"\r"以外的任何單個字符
　　　　[a-z] 字符範圍，匹配a~z之間的任意字符
　　　　[^a-z] 匹配除了a~z之間的其餘字符
　　　　\n 匹配換行符
　　多字符匹配
　　　　+ 匹配前面的子表達式一次或屢次(大於等於1次）
　　　　* 匹配前面的子表達式任意次
　　　　? 匹配前面的子表達式零次或一次
　　　　{n} n是一個非負整數。匹配肯定的n次
　　　　{n,m} m和n均爲非負整數，其中n<=m。最少匹配n次且最多匹配m次
　　其餘
　　　　^ 匹配輸入字行首
　　　　$ 匹配輸入行尾
　　　　| 將兩個匹配條件進行邏輯「或」（or）運算
　　　　　　x|y 匹配x或y

　　貪婪模式：貪婪模式在整個表達式匹配成功的前提下，儘量多的匹配   例如： [a-b]*表達式去匹配字符串ababababababbaba，就會所有匹配上

　　非貪婪模式：在整個表達式匹配成功的前提下，儘量少的匹配      例如：[a-b]*?表達式去匹配字符串ababababababbaba，就只會匹配ab

•  sed

      功能描述：sed是一種單行文本流式編輯器，它一次處理一行內容。處理時，把當前處理的行存儲在臨時緩衝區中，稱爲「模式空間」，接着用sed命令處理緩衝區中的內容，處理完成後，把緩衝區的內容送往屏幕。接着處理下一行，這樣不斷重複，直到文件結束。文件內容並無改變，除非你使用重定向存儲輸出。
　　語法：sed [選項]  ’命令‘    文件名
　　選項 功能
　　　　-e 直接在指令列模式上進行sed的動做編輯（一次執行多個操做時）。
　　　　-i 直接編輯文件(修改源文件)
　　命令 功能
　　　　p 打印通常 -n 配合使用
　　　　a 新增，在指定的行以後插入內容
　　　　i 新增，在指定的行以前插入內容
　　　　d 刪除
　　　　s 查找並替換 (注意：若是進行全局的查找替換 sed  -e  's/查找條件/替換字符串/g' )
　　案例：
　　數據準備
　　（1）將「mei nv」這個單詞插入到sed.txt第二行下
　　　　sed  -e '2a mei nv' sed.txt
　　（2）刪除sed.txt文件全部以wo開頭的行
　　　　sed  -e '/^wo/d' sed.txt
　　（3）將sed.txt文件中wo替換爲ni
　　　　sed  -e  's/wo/ni/g'  sed.txt
　　　　注意：‘g’表示global，所有替換
　　（4）將sed.txt文件中的第二行刪除並將wo替換爲ni
　　　　sed -e '2d'  -e  's/wo/ni/g'  sed.txt
　　（5）打開文件註釋單行註釋的行(刪掉第一個#號)
　　　　sed -e  's/^#//g'  sed.txt
　　 (6) 給文件的前5行內容添加註釋
　　　　sed  -e  '1,5s/^/#/g' sed.txt

•  awk

　  功能描述：是一門編程語言，也是一個強大的文本分析工具，逐行掃描文件，默認從第一行到最後一行，尋找匹配特定模式的行，並在這些行上進行你想要的操做。
　　語法：awk 選項 'pattern1{action1} pattern2{action2}...' 文件名
　　pattern：表示AWK在數據中查找的內容，就是匹配模式，正則表達式
　　action：在找到匹配內容時所執行的一系列命令
　　選項 功能
　　　　-F 指定輸入文件折分隔符
　　　　-v 賦值一個用戶定義變量
　　案例：
　　　　（1）搜索passwd文件以root關鍵字開頭的全部行，並輸出該行的第7列。
　　　　　　　　awk -F : '/^root/{print $7}' passwd
　　　　（2）搜索passwd文件以root關鍵字開頭的全部行，並輸出該行的第1列和第7列，中間以「，」號分割。
　　　　　　　　awk -F : '/^root/{print $1","$7}' passwd
　　　　　　　　注意：只有匹配了pattern的行纔會執行action
　　　　（3）只顯示/etc/passwd的第一列和第七列，以逗號分割，且在全部行前面添加列名user，shell在最後一行添加"總用戶數：用戶數量"。
　　　　　　　　awk -F : 'BEGIN{sum=0;print "user, shell"} {sum=sum+1;print $1","$7} END{print "總用戶爲:"sum}' passwd

　　　　　　　　或者awk -v  sum=0  -F : 'BEGIN{print "user, shell"} {sum=sum+1;print $1","$7} END{print "總用戶爲:"sum}' passwd
　　　　　　　　注意：BEGIN 在全部數據讀取行以前執行；END 在全部數據執行以後執行。
　　　　（4）將passwd文件中的用戶id增長數值1並輸出計算後的用戶id和用戶名
　　　　　　　　awk -v i=1 -F : '{print $1 "," $3+i}' passwd
　　awk的內置變量
　　　　變量 說明
　　　　　　FILENAME 文件名
　　　　　　NR 已讀的記錄數
　　　　　　NF 瀏覽記錄的域的個數（切割後，列的個數）
　　　　案例：
　　　　（1）統計passwd文件名，每行的行號，每行的列數
　　　　　　　　awk -F: '{print "filename:" FILENAME ", linenumber:" NR ",columns:" NF}' passwd
　　　　（2）切割IP
　　　　　　　　ifconfig eth0 | grep "inet addr" | awk -F: '{print $2}' | awk -F " " '{print $1}'
　　　　（3）查詢sed.txt中空行所在的行號
　　　　　　　　awk '/^$/{print NR}' sed.txt