一篇教會你寫90%的shell腳本！

時間 2020-04-12

標籤一篇 90% shell 腳本欄目 Unix 简体版

原文原文鏈接

在公司項目的開發過程當中，須要編寫shell腳本去處理一個業務，在編寫過程當中發現自身對shell腳本的知識不夠完善，顧整理一下，本文章主要內容來自菜鳥教程 , 也添加了一些知識點html

看完這邊文章應該就能夠獨立完成大部分腳本得編寫node

shell腳本？

在說什麼是shell腳本以前，先說說什麼是shell。mysql

shell是外殼的意思，就是操做系統的外殼。咱們能夠經過shell命令來操做和控制操做系統，好比Linux中的Shell命令就包括ls、cd、pwd等等。總結來講，Shell是一個命令解釋器，它經過接受用戶輸入的Shell命令來啓動、暫停、中止程序的運行或對計算機進行控制。linux

shell 是一個應用程序，它鏈接了用戶和 Linux 內核，讓用戶可以更加高效、安全、低成本地使用 Linux 內核，這就是 Shell 的本質。算法

shell 自己並非內核的一部分，它只是站在內核的基礎上編寫的一個應用程序。sql

那麼什麼是shell腳本呢？shell

shell腳本就是由Shell命令組成的執行文件，將一些命令整合到一個文件中，進行處理業務邏輯，腳本不用編譯便可運行。它經過解釋器解釋運行，因此速度相對來講比較慢。數據庫

shell腳本中最重要的就是對shell命令的使用與組合，再使用shell腳本支持的一些語言特性，完成想要的功能。編程

博主全部文章首發在微信公衆號：【匠心Java】bootstrap

【匠心Java】公衆號分享工做中涉及到的技術知識，主要分享數據庫相關和Java技術乾貨（JVM+併發+全鏈路優化）；涉及計算機網絡、數據結構與算法、linux等編程知識；

註釋

「# 」開頭的就是註釋，被編譯器忽略

單行註釋： #
多行註釋： :<<EOF ... EOF 或者 :<<! ... ! （:<< 標識多行註釋開始，並指定一個標識符做爲開始結束的標誌）

變量

變量類型
運行shell時，會同時存在三種變量：

局部變量：局部變量在腳本或命令中定義，僅在當前shell實例中有效，其餘shell啓動的程序不能訪問局部變量。
環境變量：全部的程序，包括shell啓動的程序，都能訪問環境變量，有些程序須要環境變量來保證其正常運行。必要的時候shell腳本也能夠定義環境變量。
shell變量：shell變量是由shell程序設置的特殊變量。shell變量中有一部分是環境變量，有一部分是局部變量，這些變量保證了shell的正常運行

變量操做

建立普通變量： name="test" （=兩邊不可有空格）
建立只可函數體中使用的局部變量： local name="test" （使用local修飾的變量在函數體外沒法訪問，而且local只能在函數體內使用）
使用變量： echo $name 或者 echo ${name} （推薦使用大括號版）
變量從新賦值： name="new_test" （將原值覆蓋）
只讀變量： name="only_read" -> readonly name （使用readonly標識後的變量，不可被修改）
刪除變量： unset name; （刪除以後不可訪問，刪除不掉只讀變量）

字符串變量
1）單引號

單引號變量var='test' ，只能原樣輸出，變量無效
單引號中不能出現一個單獨的單引號，轉義也不能夠

2）雙引號

雙引號變量var="my name is ${name}"，變量有效
可出現轉義符

3）拼接字符串

中間無任何+，之類的字符
name="this is"" my name"; name="this is my name"; name="this" is "my name" 等效
name='this is'' my nam'; name='this is my name'; name='this' is 'my name' 等效

4）獲取字符串長度

在${}中使用「#」獲取長度
name="test";
echo ${#name}; # 輸出爲4

5）提取子字符串

1:4 從第2個開始日後截取4個字符
::4 從第一個字符開始日後截取4個字符
name="this is my name";
echo ${name:1:4} #輸出 is i
echo ${name::4} #輸出 this

數組

bash只支持一維數組，不支持多維數組

定義數組：array_name=(li wang xiang zhang) （小括號作邊界、使用空格分離）
單獨定義數組的元素： array_para[0]="w"; array_para[3]="s" （定義時下標不連續也能夠）
賦值數組元素：array_name[0]="zhao";
獲取數組元素：
- array_name[0]="li"
- array_name[3]="zhang"
- echo ${array_name[0]} # 輸出"li"
- echo ${array_name[1]} # 輸出" "
- echo ${array_name[3]} # 輸出"zhang"
- echo ${array_name[@]} # 輸出"li zhang" 輸出數組全部元素，沒有元素的下標省略
取得元素個數：${#array_name[@]} 或者 ${#array_name[*]}
取得單個元素長度：${#array_name[1]}

參數傳遞

獲取參數值：
- $0 ：固定，表明執行的文件名
- $1 ：表明傳入的第1個參數
- $n ：表明傳入的第n個參數
\$#：參數個數
\$*：以一個單字符串顯示全部向腳本傳遞的參數。如"$*"用「"」括起來的狀況、以"$1 $2 … $n"的形式輸出全部參數
\$@：與$*相同，可是使用時加引號，並在引號中返回每一個參數。
\$\$：腳本運行的當前進程號
\$！：後臺運行的最後一個進程的ID
\$?：顯示最後命令的退出狀態。0表示沒有錯誤，其餘任何值代表有錯誤。
\$* 與 $@ 區別
- 相同點：都是引用全部參數。
- 不一樣點：只有在雙引號中體現出來。假設在腳本運行時寫了三個參數一、二、3，，則 " * " 等價於 "1 2 3"（傳遞了一個參數），而 "@" 等價於 "1" "2" "3"（傳遞了三個參數）。

運算符

算數運算

+ 、-、*、\ ：乘號前必須加\進行轉義才能夠進行乘法運算
加法運算
- val=`expr 2 + 2` （使用linux命令expr進行輔助運算）
- val=$[2+2] （4個空格不是必要的，不一樣於條件判斷）
- val=$((2+2))

數字關係運算符
關係運算符只支持數字，不支持字符串，除非字符串的值是數字。
下面假定變量 a 爲 10，變量 b 爲 20

-eq ：檢測兩個數是否相等，相等返回 true。 [ $a -eq $b ] 返回 false。
-ne：檢測兩個數是否不相等，不相等返回 true。 [ $a -ne $b ] 返回 true。
-gt：檢測左邊的數是否大於右邊的，若是是，則返回 true。 [ $a -gt $b ] 返回 false。
-lt ：檢測左邊的數是否小於右邊的，若是是，則返回 true。 [ $a -lt $b ] 返回 true。
-ge：檢測左邊的數是否大於等於右邊的，若是是，則返回 true。 [ $a -ge $b ] 返回 false。
-le ：檢測左邊的數是否小於等於右邊的，若是是，則返回 true。 [ $a -le $b ] 返回 true。

字符串運算符
下表列出了經常使用的字符串運算符，假定變量 a 爲 "abc"，變量 b 爲 "efg"：
= ：檢測兩個字符串是否相等，相等返回 true。 [ $a = $b ] 返回 false。
!= ：檢測兩個字符串是否相等，不相等返回 true。 [ $a != $b ] 返回 true。
-z ：檢測字符串長度是否爲0，爲0返回 true。 [ -z $a ] 返回 false。
-n ：檢測字符串長度是否爲0，不爲0返回 true。 [ -n "$a" ] 返回 true。
$ ：檢測字符串是否爲空，不爲空返回 true。 [ $a ] 返回 true。

布爾運算符
下表列出了經常使用的布爾運算符，假定變量 a 爲 10，變量 b 爲 20：
! ：非運算，表達式爲 true 則返回 false，不然返回 true。 [ ! false ] 返回 true。
-o ：或運算，有一個表達式爲 true 則返回 true。 [ $a -lt 20 -o $b -gt 100 ] 返回 true。
-a ：與運算，兩個表達式都爲 true 才返回 true。 [ $a -lt 20 -a $b -gt 100 ] 返回 false。

邏輯運算符
如下介紹 Shell 的邏輯運算符，假定變量 a 爲 10，變量 b 爲 20:

&& ：邏輯的 AND [[ $a -lt 100 && $b -gt 100 ]] 返回 false
|| ：邏輯的 OR [[ $a -lt 100 || $b -gt 100 ]] 返回 true

文件運算符

-b file ：檢測文件是不是塊設備文件，若是是，則返回 true。 [ -b $file ] 返回 false。
-c file ：檢測文件是不是字符設備文件，若是是，則返回 true。 [ -c $file ] 返回 false。
-d file ：檢測文件是不是目錄，若是是，則返回 true。 [ -d $file ] 返回 false。
-f file ：檢測文件是不是普通文件（既不是目錄，也不是設備文件），若是是，則返回 true。 [ -f $file ] 返回 true。
-g file ：檢測文件是否設置了 SGID 位，若是是，則返回 true。 [ -g $file ] 返回 false。
-k file ：檢測文件是否設置了粘着位(Sticky Bit)，若是是，則返回 true。 [ -k $file ] 返回 false。
-p file ：檢測文件是不是有名管道，若是是，則返回 true。 [ -p $file ] 返回 false。
-u file ：檢測文件是否設置了 SUID 位，若是是，則返回 true。 [ -u $file ] 返回 false。
-r file ：檢測文件是否可讀，若是是，則返回 true。 [ -r $file ] 返回 true。
-w file ：檢測文件是否可寫，若是是，則返回 true。 [ -w $file ] 返回 true。
-x file ：檢測文件是否可執行，若是是，則返回 true。 [ -x $file ] 返回 true。
-s file ：檢測文件是否爲空（文件大小是否大於0），不爲空返回 true。 [ -s $file ] 返回 true。
-e file ：檢測文件（包括目錄）是否存在，若是是，則返回 true。 [ -e $file ] 返回 true。

執行相關

命令替換
命令替換與變量替換差很少，都是用來重組命令行的，先完成引號裏的命令行，而後將其結果替換出來，再重組成新的命令行。
執行命令：

`ls /etc` ：反引號（全部的unix系統都支持）
$(ls /etc) ： $+() （部分unix系統不支持）
多個嵌套使用時，從內向外執行

for file in \s /etc\ 或 for file in $(ls /etc) 循環中使用
`dirname \$0` 獲取腳本文件所在的目錄
path=$(cd `dirname $0`;pwd) ：獲取腳本當前所在目錄，而且執行cd命令到達該目錄，使用pwd獲取路徑並賦值到path變量

算術運算

$[ ] : 加減乘除,沒必要添加空格
$(( )) ：加減乘除等,沒必要添加空格

邏輯判斷

[ ] ：中括號旁邊和運算符兩邊必須添加空格（可使用，不推薦）
[[ ]]：中括號旁邊和運算符兩邊必須添加空格（字符串驗證時，推薦使用）
(()) ：中括號旁邊和運算符兩邊必須添加空格（數字驗證時，推薦使用）
[[]] 和 (()) 分別是[ ]的針對數學比較表達式和字符串表達式的增強版。
使用[[ ... ]]條件判斷結構，而不是[ ... ]，可以防止腳本中的許多邏輯錯誤。好比，&&、||、<和> 操做符可以正常存在於[[ ]]條件判斷結構中，可是若是出如今[ ]結構中的話，會報錯。好比能夠直接使用if [[ $a != 1 && $a != 2 ]], 若是不適用雙括號, 則爲if [ $a -ne 1] && [ $a != 2 ]或者if [ $a -ne 1 -a $a != 2 ]。
[[ ]]中增長模式匹配特效；
(( ))不須要再將表達式裏面的大小於符號轉義，除了可使用標準的數學運算符外，還增長了如下符號

輸出

echo
僅用於字符串的輸出，沒有使用printf做爲輸出的移植性好，建議使用printf

printf

printf 不會像 echo 自動添加換行符，咱們能夠手動添加 \n
無大括號，直接以空格分隔

格式：printf format-string [arguments...] 其中（format-string: 格式控制字符串、arguments: 參數列表）
案例：printf "%-10s %-8s %-4.2f\n" 郭靖男 66.1234
%s %c %d %f 都是格式替代符
- d：Decimal 十進制整數對應位置參數必須是十進制整數，不然報錯!
- s：String 字符串對應位置參數必須是字符串或者字符型不然報錯
- c：Char 字符對應位置參數必須是字符串或者字符型不然報錯
- f：Float 浮點對應位置參數必須是數字型不然報錯
%-10s ：指一個寬度爲10個字符（-表示左對齊，沒有則表示右對齊），任何字符都會被顯示在10個字符寬的字符內，若是不足則自動以空格填充，超過也會將內容所有顯示出來。
%-4.2f ：指格式化爲小數，寬度爲4個字符，其中.2指保留2位小數。
轉義符：
- \a ：警告字符，一般爲ASCII的BEL字符
- \b ：後退
- \c ：抑制（不顯示）輸出結果中任何結尾的換行字符（只在%b格式指示符控制下的參數字符串中有效），並且，任何留在參數裏的字符、任何接下來的參數以及任何留在格式字符串中的字符，都被忽略
- \f ：換頁（formfeed）
- \n ：換行
- \r ：回車（Carriage return）
- \t ：水平製表符
- \v ：垂直製表符
- \ ：一個字面上的反斜槓字符
- \ddd ：表示1到3位數八進制值的字符。僅在格式字符串中有效
- \0ddd ：表示1到3位的八進制值字符

流程控制

和Java、PHP等語言不同，sh的流程控制不可爲空，即if或者else的大括號中無任何語句
if else

if condition
then
command1 
command2
...
commandN 
fi

if else

if condition
then
command1 
command2
...
commandN
else
command
fi

if else-if else

if condition1
then
command1
elif condition2 
then 
command2
else
commandN
fi

for

for var in item1 item2 ... itemN
do
    command1
    command2
    ...
    commandN
done

while

while condition
```
while condition
do
command
done
```
while 無限循環
```
while :
do
command
done
```

until
until 循環執行一系列命令直至條件爲 true 時中止。
until 循環與 while 循環在處理方式上恰好相反。

until condition
do
    command
done

case
Shell case語句爲多選擇語句。能夠用case語句匹配一個值與一個模式，若是匹配成功，執行相匹配的命令。
case須要一個esac（就是case反過來）做爲結束標記，每一個case分支用右圓括號，用兩個分號表示break，其中「;;」不是跳出循環，是不在去匹配下面的模式
case語句格式以下：

case 值 in
  模式1)
    command1
    command2
    ...
    commandN
    ;;
  模式2）
    command1
    command2
    ...
    commandN
    ;;
esac

跳出循環

break ：跳出總循環
continue：跳出當前循環，繼續下一次循環

定義函數

能夠帶function fun() 定義，也能夠直接fun() 定義,不帶任何參數。

函數定義

[ function ] funname()
{
action;
[return int;]
}

參數傳遞

調用函數: fun_name 2 3 4

函數中使用：和shell取用函數相同 $n $# $* $? 或者加上{}

funWithParam(){
echo "第一個參數爲 $1 !"
echo "第二個參數爲 $2 !"
echo "第十個參數爲 $10 !"
echo "第十個參數爲 ${10} !"
echo "第十一個參數爲 ${11} !"
echo "參數總數有 $# 個!"
echo "做爲一個字符串輸出全部參數 $* !"}
funWithParam 1 2 3 4 5 6 7 8 9 34 73
echo $?  \# 判斷執行是否成功

函數返回值
- return字樣可存在也可不存在
- return 只能爲 return [0-255]，此處的返回可做爲函數執行的狀態，經過$?獲取的即是這個返回值
- 若是不加return ，則默認最後一條語句的執行狀態所爲函數執行狀態的返回值，若是最後一條語句執行成功，則$?爲0，不然不爲0

使用函數返回值（Janusgraph圖數據庫官方啓動服務腳本片斷）

return返回的數字，只是做爲函數執行狀態的返回值，也就是接下來$?獲取的值

對於相似於下面的BIN=\abs_path``語句，獲取的是函數體內全部的echo、printf輸出<u>組合成的一個字符串</u>

abs_path() {
SOURCE="${BASH_SOURCE[0]}"
while [ -h "$SOURCE" ]; do
DIR="$( cd -P "$( dirname "$SOURCE" )" && pwd )"
SOURCE="$(readlink "$SOURCE")"
[[ $SOURCE != /* ]] && SOURCE="$DIR/$SOURCE"
done
echo "test"  
echo "$( cd -P "$( dirname "$SOURCE" )" && pwd )"  
# 此函數的兩個echo輸出會組合成一個字符串做爲下述BIN的值
}

BIN=abs_path # BIN賦值函數返回值，若是沒有return，則函數中全部的echo、printf輸出組合成一個字符串傳入BIN
path=${BIN}/nodetool # 可直接使用

#### 輸入輸出重定向
通常狀況下，每一個 Unix/Linux 命令運行時都會打開三個文件：
* 標準輸入文件(stdin)：stdin的文件描述符爲0，Unix程序默認從stdin讀取數據。
* 標準輸出文件(stdout)：stdout 的文件描述符爲1，Unix程序默認向stdout輸出數據。
* 標準錯誤文件(stderr)：stderr的文件描述符爲2，Unix程序會向stderr流中寫入錯誤信息。

默認狀況下，command > file 將 stdout 重定向到 file，command < file 將stdin 重定向到 file。
若是但願執行某個命令，但又不但願在屏幕上顯示輸出結果，那麼能夠將輸出重定向到 /dev/null：

**輸入重定向**
1. bash.sh  < file ： 將腳本的輸入重定向到file，由file提供參數

**輸出重定向**
1. bash.sh  > file ： 將腳本的輸出數據重定向到file中，覆蓋數據
2. bash.sh  >> file ： 將腳本的輸出數據重定向到file中，追加數據
3.  command >> file 2>&1 ： 將 stdout 和 stderr 合併後重定向到 file

#### 讀取外部輸入
命令：`read arg`  （腳本讀取外部輸入並賦值到變量上）
在shell腳本執行到上述命令時，中止腳本執行並等待外部輸入，將外部輸入賦值到arg變量上，繼續執行腳本

#### 文件引用
引用其餘的文件以後，可使用其變量、函數等等，至關於將引用的文件包含進了當前文件
兩種方式：
1. **.** file_path\file_name
2. **source** file_path\file_name

#### 顏色標識
```shell
printf  "\033[32m SUCCESS: yay \033[0m\n";
printf  "\033[33m WARNING: hmm \033[0m\n";
printf  "\033[31m ERROR: fubar \033[0m\n";

輸出結果：

長句換行

在shell中爲避免一個語句過長，可使用「\」進行換行
使用「\」換行，在腳本執行過程當中仍是當作一行一個語句執行，不一樣於enter直接換行

注意：\ 前添加一個空格。 \ 後無空格直接換行。
/mysql/bin/mysql \
-h test_host  -P 000 \
-u test_user -ptest_password ;

shell操做mysql

下面案例爲登陸mysql，並選擇操做數據庫，以後進行導入數據

/mysql/mysql/bin/mysql \
  -h test_host  -P 000 \
  -u test_user -ptest_password \
  -e"use test_database; source data_faile; " # -e 表明執行sql語句

-u 用戶名
-p 用戶密碼
-h 服務器ip地址
-D 鏈接的數據庫
-N 不輸出列信息
-B 使用tab鍵代替分隔符
-e 執行的SQL語句

退出腳本

命令：exit

在退出腳本時使用不一樣的錯誤碼，這樣能夠根據錯誤碼來判斷髮生了什麼錯誤。

在絕大多數 shell 腳本中，exit 0 表示執行成功，exit 1 表示發生錯誤。
對錯誤與錯誤碼進行一對一的映射，這樣有助於腳本調試。

命令：set -e 或者 set +e
set -e表示從當前位置開始，若是出現任何錯誤都將觸發exit。相反，set +e表示無論出現任何錯誤繼續執行腳本。

若是腳本是有狀態的（每一個後續步驟都依賴前一個步驟），那麼請使用set -e，在腳本出現錯誤時當即退出腳本。
若是要求全部命令都要執行完（不多會這樣），那麼就使用set +e。

shell腳本調試

檢查是否有語法錯誤-n：
bash -n script_name.sh
使用下面的命令來執行並調試 Shell 腳本-x：
bash -x script_name.sh
調試count_odd_number.sh 程序案例：

#!/usr/bin.env bash

# 用於計算數組中奇數的和
# @author liyangyang
# @time 2019/09/17

sum=0
for num in 1 2 3 4;do
    re=${num}%2
    if (( ${re} == 1 ));then
        sum=$[${sum}+${num}]
    fi
done
echo ${sum}

首先檢查有無語法錯誤：
bash -n count_odd_number.sh
沒有輸出，說明沒有錯誤，開始實際調試：
bash -x count_odd_number.sh
調試結果以下：
```
+ sum=0
+ for num in 1 2 3 4
+ re=1%2
+ ((  1%2 == 1  ))
+ sum=1
+ for num in 1 2 3 4
+ re=2%2
+ ((  2%2 == 1  ))
+ for num in 1 2 3 4
+ re=3%2
+ ((  3%2 == 1  ))
+ sum=4
+ for num in 1 2 3 4
+ re=4%2
+ ((  4%2 == 1  ))
+ echo 4
4
```
其中的輸出顯示了程序執行的每一步，經過觀察程序執行的步驟是否知足預期從而達到調試的效果
帶有 + 表示的是 Shell 調試器的輸出，不帶 + 表示程序的輸出。

案例：

這是es（ElasticSearch）官方啓動服務的腳本，看可不能夠理解吧~

#!/usr/bin/env bash

# CONTROLLING STARTUP:
#
# This script relies on a few environment variables to determine startup
# behavior, those variables are:
#
#   ES_PATH_CONF -- Path to config directory
#   ES_JAVA_OPTS -- External Java Opts on top of the defaults set
#
# Optionally, exact memory values can be set using the `ES_JAVA_OPTS`. Note that
# the Xms and Xmx lines in the JVM options file must be commented out. Example
# values are "512m", and "10g".
#
#   ES_JAVA_OPTS="-Xms8g -Xmx8g" ./bin/elasticsearch

source "`dirname "$0"`"/elasticsearch-env

parse_jvm_options() {
  if [ -f "$1" ]; then
    echo "`grep "^-" "$1" | tr '\n' ' '`"
  fi
}

ES_JVM_OPTIONS="$ES_PATH_CONF"/jvm.options

ES_JAVA_OPTS="`parse_jvm_options "$ES_JVM_OPTIONS"` $ES_JAVA_OPTS"

# manual parsing to find out, if process should be detached
if ! echo $* | grep -E '(^-d |-d$| -d |--daemonize$|--daemonize )' > /dev/null; then
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@"
else
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@" \
    <&- &
  retval=$?
  pid=$!
  [ $retval -eq 0 ] || exit $retval
  if [ ! -z "$ES_STARTUP_SLEEP_TIME" ]; then
    sleep $ES_STARTUP_SLEEP_TIME
  fi
  if ! ps -p $pid > /dev/null ; then
    exit 1
  fi
  exit 0
fi

exit $?

若是轉載此博文，請附上本文連接

若是感受這篇文章對您有所幫助，請點擊一下「喜歡」或者「關注」博主，您的喜歡和關注將是我前進的最大動力！謝謝你們~

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。