shell 快速瀏覽

總結自：
　　https://github.com/qinjx/30min_guides/blob/master/shell.md；
　　http://blog.itpub.net/14293828/viewspace-1447570

1.什麼是Shell腳本

示例

看個例子吧：

#!/bin/sh
cd ~
mkdir shell_tut
cd shell_tut

for ((i=0; i<10; i++)); do
    touch test_$i.txt
done

示例解釋

• 第1行：指定腳本解釋器，這裏是用/bin/sh作解釋器的
• 第2行：切換到當前用戶的home目錄
• 第3行：建立一個目錄shell_tut
• 第4行：切換到shell_tut目錄
• 第5行：循環條件，一共循環10次
• 第6行：建立一個test_1…10.txt文件
• 第7行：循環體結束

cd, mkdir, touch都是系統自帶的程序，通常在/bin或者/usr/bin目錄下。for, do, done是sh腳本語言的關鍵字。

shell和shell腳本的概念

shell是指一種應用程序，這個應用程序提供了一個界面，用戶經過這個界面訪問操做系統內核的服務。Ken Thompson的sh是第一種Unix Shell，Windows Explorer是一個典型的圖形界面Shell。

shell腳本（shell script），是一種爲shell編寫的腳本程序。業界所說的shell一般都是指shell腳本，但讀者朋友要知道，shell和shell script是兩個不一樣的概念。因爲習慣的緣由，簡潔起見，本文出現的「shell編程」都是指shell腳本編程，不是指開發shell自身（如Windows Explorer擴展開發）。

環境

shell編程跟java、php編程同樣，只要有一個能編寫代碼的文本編輯器和一個能解釋執行的腳本解釋器就能夠了。

OS

當前主流的操做系統都支持shell編程，本文檔所述的shell編程是指Linux下的shell，講的基本都是POSIX標準下的功能，因此，也適用於Unix及BSD（如Mac OS）。

Linux

Linux默認安裝就帶了shell解釋器。

Mac OS

Mac OS不只帶了sh、bash這兩個最基礎的解釋器，還內置了ksh、csh、zsh等不經常使用的解釋器。

Windows上的模擬器

windows出廠時沒有內置shell解釋器，須要自行安裝，爲了同時能用grep, awk, curl等工具，最好裝一個cygwin或者mingw來模擬linux環境。

• cygwin
• mingw

腳本解釋器

sh

即Bourne shell，POSIX（Portable Operating System Interface）標準的shell解釋器，它的二進制文件路徑一般是/bin/sh，由Bell Labs開發。

本文講的是sh，若是你使用其它語言用做shell編程，請自行參考相應語言的文檔。

bash

Bash是Bourne shell的替代品，屬GNU Project，二進制文件路徑一般是/bin/bash。業界一般混用bash、sh、和shell，好比你會常常在招聘運維工程師的文案中見到：熟悉Linux Bash編程，精通Shell編程。

在CentOS裏，/bin/sh是一個指向/bin/bash的符號連接:

[root@centosraw ~]# ls -l /bin/*sh
-rwxr-xr-x. 1 root root 903272 Feb 22 05:09 /bin/bash
-rwxr-xr-x. 1 root root 106216 Oct 17  2012 /bin/dash
lrwxrwxrwx. 1 root root      4 Mar 22 10:22 /bin/sh -> bash

但在Mac OS上不是，/bin/sh和/bin/bash是兩個不一樣的文件，儘管它們的大小隻相差100字節左右:

iMac:~ wuxiao$ ls -l /bin/*sh
-r-xr-xr-x  1 root  wheel  1371648  6 Nov 16:52 /bin/bash
-rwxr-xr-x  2 root  wheel   772992  6 Nov 16:52 /bin/csh
-r-xr-xr-x  1 root  wheel  2180736  6 Nov 16:52 /bin/ksh
-r-xr-xr-x  1 root  wheel  1371712  6 Nov 16:52 /bin/sh
-rwxr-xr-x  2 root  wheel   772992  6 Nov 16:52 /bin/tcsh
-rwxr-xr-x  1 root  wheel  1103984  6 Nov 16:52 /bin/zsh

高級編程語言

理論上講，只要一門語言提供瞭解釋器（而不只是編譯器），這門語言就能夠勝任腳本編程，常見的解釋型語言都是能夠用做腳本編程的，如：Perl、Tcl、Python、PHP、Ruby。Perl是最老牌的腳本編程語言了，Python這些年也成了一些linux發行版的預置解釋器。

編譯型語言，只要有解釋器，也能夠用做腳本編程，如C shell是內置的（/bin/csh），Java有第三方解釋器Jshell，Ada有收費的解釋器AdaScript。

以下是一個PHP Shell Script示例（假設文件名叫test.php）：

#!/usr/bin/php
<?php
for ($i=0; $i < 10; $i++)
        echo $i . "\n";
執行：

/usr/bin/php test.php
或者：

chmod +x test.php
./test.php

 

2.如何選擇shell編程語言

熟悉 vs 陌生

若是你已經掌握了一門編程語言（如PHP、Python、Java、JavaScript），建議你就直接使用這門語言編寫腳本程序，雖然某些地方會有點囉嗦，但你能利用在這門語言領域裏的經驗（單元測試、單步調試、IDE、第三方類庫）。

新增的學習成本很小，只要學會怎麼使用shell解釋器（Jshell、AdaScript）就能夠了。

簡單 vs 高級

若是你以爲本身熟悉的語言（如Java、C）寫shell腳本實在太囉嗦，你只是想作一些備份文件、安裝軟件、下載數據之類的事情，學着使用sh，bash會是一個好主意。

shell只定義了一個很是簡單的編程語言，因此，若是你的腳本程序複雜度較高，或者要操做的數據結構比較複雜，那麼仍是應該使用Python、Perl這樣的腳本語言，或者是你原本就已經很擅長的高級語言。由於sh和bash在這方面很弱，好比說：

• 它的函數只能返回字串，沒法返回數組
• 它不支持面向對象，你沒法實現一些優雅的設計模式
• 它是解釋型的，一邊解釋一邊執行，連PHP那種預編譯都不是，若是你的腳本包含錯誤(例如調用了不存在的函數)，只要沒執行到這一行，就不會報錯

環境兼容性

若是你的腳本是提供給別的用戶使用，使用sh或者bash，你的腳本將具備最好的環境兼容性，perl很早就是linux標配了，python這些年也成了一些linux發行版的標配，至於mac os，它默認安裝了perl、python、ruby、php、java等主流編程語言。

 

3. Shell命令和流程控制

在shell腳本中可使用三類命令：

1)Unix 命令:

雖然在shell腳本中可使用任意的unix命令，可是仍是由一些相對更經常使用的命令。這些命令一般是用來進行文件和文字操做的。

經常使用命令語法及功能:

echo "some text": 將文字內容打印在屏幕上。

ls: 文件列表。

wc –l file wc -w file wc -c file: 計算文件行數 計算文件中的單詞數 計算文件中的字符數。

cp sourcefile destfile: 文件拷貝。

mv oldname newname : 重命名文件或移動文件。

rm file: 刪除文件。

grep 'pattern' file: 在文件內搜索字符串好比：grep 'searchstring' file.txt

cut -b colnum file: 指定欲顯示的文件內容範圍，並將它們輸出到標準輸出設備好比：輸出每行第5個到第9個字符cut –b 5-9 file.txt千萬不要和cat命令混淆，這是兩個徹底不一樣的命令。

cat file.txt: 輸出文件內容到標準輸出設備（屏幕）上。

file somefile: 獲得文件類型。

read var: 提示用戶輸入，並將輸入賦值給變量。

sort file.txt: 對file.txt文件中的行進行排序。

uniq: 刪除文本文件中出現的行列好比： sort file.txt | uniq。

expr: 進行數學運算Example: add 2 and 3 expr 2 "+" 3。

find: 搜索文件好比：根據文件名搜索find . -name filename -print。

tee: 將數據輸出到標準輸出設備(屏幕) 和文件好比：somecommand | tee outfile。

basename file: 返回不包含路徑的文件名好比： basename /bin/tux將返回 tux。

dirname file: 返回文件所在路徑好比：dirname /bin/tux將返回 /bin。

head file: 打印文本文件開頭幾行。

tail file : 打印文本文件末尾幾行。

sed: Sed是一個基本的查找替換程序。能夠從標準輸入（好比命令管道）讀入文本，並將結果輸出到標準輸出（屏幕）。該命令採用正則表達式（見參考）進行搜索。不要和shell中的通配符相混淆。好比：將linuxfocus 替換爲 LinuxFocus ：cat text.file | sed 's/linuxfocus/LinuxFocus/' > newtext.file。

awk: awk 用來從文本文件中提取字段。缺省地，字段分割符是空格，可使用-F指定其餘分割符。cat file.txt | awk -F, '{print "," }'這裏咱們使用，做爲字段分割符，同時打印第一個和第三個字段。若是該文件內容以下：

Adam Bor, 34, IndiaKerry Miller, 22, USA

命令輸出結果爲：

Adam Bor, IndiaKerry Miller.

 

 

 

2) 概念: 管道, 重定向和 backtick

這些不是系統命令，可是他們真的很重要。

管道 (|) 將一個命令的輸出做爲另一個命令的輸入。

grep "hello" file.txt | wc -l

在file.txt中搜索包含有」hello」的行並計算其行數。在這裏grep命令的輸出做爲wc命令的輸入。固然您可使用多個命令。

重定向：將命令的結果輸出到文件，而不是標準輸出（屏幕）。

> 寫入文件並覆蓋舊文件。

>> 加到文件的尾部，保留舊文件內容。

反短斜線,使用反短斜線能夠將一個命令的輸出做爲另一個命令的一個命令行參數。

命令：

find . -mtime -1 -type f -print

用來查找過去24小時（-mtime –2則表示過去48小時）內修改過的文件。若是您想將全部查找到的文件打一個包，則可使用如下腳本：

#!/bin/sh # The ticks are backticks (`) not normal quotes ('): tar -zcvf lastmod.tar.gz `find . -mtime -1 -type f -print`

3) 流程控制

"if" 表達式 若是條件爲真則執行then後面的部分：

if ....; then

 

 

4.第一個shell腳本

編寫

打開文本編輯器，新建一個文件，擴展名爲sh（sh表明shell），擴展名並不影響腳本執行，見名知意就好，若是你用php寫shell 腳本，擴展名就用php好了。

輸入一些代碼，第一行通常是這樣：

#!/bin/bash
#!/usr/bin/php

 

「#!」是一個約定的標記，它告訴系統這個腳本須要什麼解釋器來執行。

運行

運行Shell腳本有兩種方法：

做爲可執行程序

chmod +x test.sh
./test.sh

 

注意，必定要寫成./test.sh，而不是test.sh，運行其它二進制的程序也同樣，直接寫test.sh，linux系統會去PATH裏尋找有沒有叫test.sh的，而只有/bin, /sbin, /usr/bin，/usr/sbin等在PATH裏，你的當前目錄一般不在PATH裏，因此寫成test.sh是會找不到命令的，要用./test.sh告訴系統說，就在當前目錄找。

經過這種方式運行bash腳本，第一行必定要寫對，好讓系統查找到正確的解釋器。

這裏的"系統"，其實就是shell這個應用程序（想象一下Windows Explorer），但我故意寫成系統，是方便理解，既然這個系統就是指shell，那麼一個使用/bin/sh做爲解釋器的腳本是否是能夠省去第一行呢？是的。

做爲解釋器參數

這種運行方式是，直接運行解釋器，其參數就是shell腳本的文件名，如：

/bin/sh test.sh
/bin/php test.php

 

這種方式運行的腳本，不須要在第一行指定解釋器信息，寫了也沒用。

變量

定義變量

定義變量時，變量名不加美圓符號（$），如：

your_name="qinjx"

注意，變量名和等號之間不能有空格，這可能和你熟悉的全部編程語言都不同。

除了顯式地直接賦值，還能夠用語句給變量賦值，如：

for file in `ls /etc`

使用變量

使用一個定義過的變量，只要在變量名前面加美圓符號便可，如：

your_name="qinjx"
echo $your_name
echo ${your_name}

 

變量名外面的花括號是可選的，加不加都行，加花括號是爲了幫助解釋器識別變量的邊界，好比下面這種狀況：

for skill in Ada Coffe Action Java do
    echo "I am good at ${skill}Script"
done

 

若是不給skill變量加花括號，寫成echo "I am good at $skillScript"，解釋器就會把$skillScript當成一個變量（其值爲空），代碼執行結果就不是咱們指望的樣子了。

推薦給全部變量加上花括號，這是個好的編程習慣。IntelliJ IDEA編寫shell script時，IDE就會提示加花括號。

重定義變量

已定義的變量，能夠被從新定義，如：

your_name="qinjx"
echo $your_name

your_name="alibaba"
echo $your_name

 

這樣寫是合法的，但注意，第二次賦值的時候不能寫$your_name="alibaba"，使用變量的時候才加美圓符。

註釋

以「#」開頭的行就是註釋，會被解釋器忽略。

多行註釋

sh裏沒有多行註釋，只能每一行加一個#號。就像這樣：

#--------------------------------------------
# 這是一個自動打ipa的腳本，基於webfrogs的ipa-build書寫：https://github.com/webfrogs/xcode_shell/blob/master/ipa-build

# 功能：自動爲etao ios app打包，產出物爲14個渠道的ipa包
# 特點：全自動打包，不須要輸入任何參數
#--------------------------------------------

##### 用戶配置區 開始 #####
#
#
# 項目根目錄，推薦將此腳本放在項目的根目錄，這裏就不用改了
# 應用名，確保和Xcode裏Product下的target_name.app名字一致
#
##### 用戶配置區 結束  #####

若是在開發過程當中，遇到大段的代碼須要臨時註釋起來，過一下子又取消註釋，怎麼辦呢？每一行加個#符號太費力了，能夠把這一段要註釋的代碼用一對花括號括起來，定義成一個函數，沒有地方調用這個函數，這塊代碼就不會執行，達到了和註釋同樣的效果。

字符串

字符串是shell編程中最經常使用最有用的數據類型（除了數字和字符串，也沒啥其它類型好用了，哈哈），字符串能夠用單引號，也能夠用雙引號，也能夠不用引號。單雙引號的區別跟PHP相似。

單引號

str='this is a string'

單引號字符串的限制：

• 單引號裏的任何字符都會原樣輸出，單引號字符串中的變量是無效的
• 單引號字串中不能出現單引號（對單引號使用轉義符後也不行）

雙引號

your_name='qinjx'
str="Hello, I know your are \"$your_name\"! \n"

• 雙引號裏能夠有變量
• 雙引號裏能夠出現轉義字符

字符串操做

拼接字符串

your_name="qinjx"
greeting="hello, "$your_name" !"
greeting_1="hello, ${your_name} !"

echo $greeting $greeting_1

獲取字符串長度：

string="abcd"
echo ${#string} #輸出：4

提取子字符串

string="alibaba is a great company"
echo ${string:1:4} #輸出：liba

查找子字符串

string="alibaba is a great company"
echo `expr index "$string" is`#輸出：8，這個語句的意思是：找出單詞is在這名話中的位置

更多

參見本文檔末尾的參考資料中Advanced Bash-Scripting Guid Chapter 10.1

數組

管道

條件判斷

流程控制

和Java、PHP等語言不同，sh的流程控制不可爲空，如：

<?php
if (isset($_GET["q"])) {
    search(q);
}
else {
    //do nothing
}

在sh/bash裏可不能這麼寫，若是else分支沒有語句執行，就不要寫這個else。

還要注意，sh裏的if [ $foo -eq 0 ]，這個方括號跟Java/PHP裏if後面的圓括號大不相同，它是一個可執行程序（和cd, ls, grep同樣），相不到吧？在CentOS上，它在/usr/bin目錄下：

ll /usr/bin/[
-rwxr-xr-x. 1 root root 33408 6月  22 2012 /usr/bin/[

正由於方括號在這裏是一個可執行程序，方括號後面必須加空格，不能寫成if [$foo -eq 0]

if else

if

if condition
then
    command1 
    command2
    ...
    commandN 
fi

寫成一行（適用於終端命令提示符）：

if `ps -ef | grep ssh`;  then echo hello; fi

末尾的fi就是if倒過來拼寫，後面還會遇到相似的

if else

if condition
then
    command1 
    command2
    ...
    commandN
else
    command
fi

if else-if else

if condition1
then
    command1
elif condition2
    command2
else
    commandN
fi

for while

for

在開篇的示例裏演示過了：

for var in item1 item2 ... itemN
do
    command1
    command2
    ...
    commandN
done

寫成一行：

for var in item1 item2 ... itemN; do command1; command2… done;

C風格的for

for (( EXP1; EXP2; EXP3 ))
do
    command1
    command2
    command3
done

while

while condition
do
    command
done

無限循環

while :
do
    command
done

或者

while true
do
    command
done

或者

for (( ; ; ))

until

until condition
do
    command
done

case

case "${opt}" in
    "Install-Puppet-Server" )
        install_master $1
        exit
    ;;

    "Install-Puppet-Client" )
        install_client $1
        exit
    ;;

    "Config-Puppet-Server" )
        config_puppet_master
        exit
    ;;

    "Config-Puppet-Client" )
        config_puppet_client
        exit
    ;;

    "Exit" )
        exit
    ;;

    * ) echo "Bad option, please choose again"
esac

case的語法和C family語言差異很大，它須要一個esac（就是case反過來）做爲結束標記，每一個case分支用右圓括號，用兩個分號表示break

文件包含

可使用source和.關鍵字，如：

source ./function.sh
. ./function.sh

在bash裏，source和.是等效的，他們都是讀入function.sh的內容並執行其內容（相似PHP裏的include），爲了更好的可移植性，推薦使用第二種寫法。

包含一個文件和在執行一個文件同樣，也要寫這個文件的路徑，不能光寫文件名，好比上述例子中:

. ./function.sh

不能夠寫做：

. function.sh

若是function.sh是用戶傳入的參數，如何得到它的絕對路徑呢？方法是：

real_path=`readlink -f $1`#$1是用戶輸入的參數，如function.sh
. $real_path

 

 

參考資料

• Advanced Bash-Scripting Guide，很是詳細，很是易讀，大量example，既能夠當入門教材，也能夠當作工具書查閱
• Unix Shell Programming
• Linux Shell Scripting Tutorial - A Beginner's handbook