BASH 進階（轉載防丟）

基礎

• 學習 Bash 的基礎知識。具體來講，輸入 man bash 並至少全文瀏覽一遍; 它很簡單而且不長。其餘的 shell 可能很好用，但 Bash 功能強大且幾乎全部狀況下都是可用的 ( 只學習 zsh，fish 或其餘的 shell 的話，在你本身的電腦上會顯得很方便，但在不少狀況下會限制你，好比當你須要在服務器上工做時)。

• 學習並掌握至少一個基於文本的編輯器。一般 Vim (vi) 會是你最好的選擇。

• 學會如何使用 man 命令去閱讀文檔。學會使用 apropos 去查找文檔。瞭解有些命令並不對應可執行文件，而是Bash內置的，可使用 help 和 help -d 命令獲取幫助信息。

• 學會使用 > 和 < 來重定向輸出和輸入，學會使用 | 來重定向管道。瞭解標準輸出 stdout 和標準錯誤 stderr。

• 學會使用通配符 * (或許再算上 ? 和 {...}) 和引用以及引用中 ' 和 " 的區別。

• 熟悉 Bash 任務管理工具: &，ctrl-z，ctrl-c，jobs，fg，bg，kill 等。

• 瞭解 ssh，以及基本的無密碼認證，ssh-agent，ssh-add 等。

• 學會基本的文件管理: ls 和 ls -l (瞭解 ls -l 中每一列表明的意義)，less，head，tail 和 tail -f (甚至 less +F)，ln 和 ln -s (瞭解硬連接與軟連接的區別)，chown，chmod，du (硬盤使用狀況概述: du -hk *)。 關於文件系統的管理，學習 df，mount，fdisk，mkfs，lsblk。

• 學習基本的網絡管理: ip 或 ifconfig，dig。

• 熟悉正則表達式，以及 grep/egrep 裏不一樣參數的做用，例如 -i，-o，-A，和 -B。

• 學會使用 apt-get，yum，dnf 或 pacman (取決於你使用的 Linux 發行版)來查找或安裝包。確保你的環境中有 pip 來安裝基於 Python 的命令行工具 (部分程序使用 pip 來安裝會很簡單)。

平常使用

• 在 Bash 中，可使用 Tab 自動補全參數，使用 ctrl-r 搜索命令行歷史。

• 在 Bash 中，使用 ctrl-w 刪除你鍵入的最後一個單詞，使用 ctrl-u 刪除整行，使用 alt-b 和 alt-f 按單詞移動，使用 ctrl-k 從光標處刪除到行尾，使用 ctrl-l 清屏。鍵入 man readline 查看 Bash 中的默認快捷鍵，內容不少。例如 alt-. 循環地移向前一個參數，以及 alt-* 展開通配符。

• 你喜歡的話，能夠鍵入 set -o vi 來使用 vi 風格的快捷鍵。

• 鍵入 history 查看命令行歷史記錄。其中有許多縮寫，例如 !$(最後鍵入的參數)和 !!(最後鍵入的命令)，儘管一般被 ctrl-r 和 alt-. 取代。

• 回到上一個工做路徑: cd -

• 若是你輸入命令的時候改變了主意，按下 alt-# 在行首添加 #(將你輸入的命令視爲註釋)，並回車。這樣作的話，以後你能夠很方便的利用命令行歷史回到你剛纔輸入到一半的命令。

• 使用 xargs ( 或 parallel)。他們很是給力。注意到你能夠控制每行參數個數(-L)和最大並行數(-P)。若是你不肯定它們是否會按你想的那樣工做，先使用 xargs echo 查看一下。此外，使用 -I{} 會很方便。例如:

      find . -name '*.py' | xargs grep some_function
      cat hosts | xargs -I{} ssh root@{} hostname

• pstree -p 有助於展現進程樹。

• 使用 pgrep 和 pkill 根據名字查找進程或發送信號。

• 瞭解你能夠發往進程的信號的種類。好比，使用 kill -STOP [pid] 中止一個進程。使用 man 7 signal 查看詳細列表。

• 使用 nohup 或 disown 使一個後臺進程持續運行。

• 使用 netstat -lntp 或 ss -plat 檢查哪些進程在監聽端口(默認是檢查 TCP 端口; 使用參數 -u 檢查 UDP 端口)。

• 有關打開套接字和文件，請參閱 lsof。

• 在 Bash 腳本中，使用 set -x 去調試輸出，儘量的使用嚴格模式，使用 set -e 令腳本在發生錯誤時退出而不是繼續運行，使用 set -o pipefail 嚴謹地對待錯誤(儘管問題可能很微妙)。當牽扯到不少腳本時，使用 trap。

• 在 Bash 腳本中，子 shell(使用括號(...))是一種便捷的方式去組織參數。一個常見的例子是臨時地移動工做路徑，代碼以下：

      # do something in current dir
      (cd /some/other/dir && other-command)
      # continue in original dir

• 在 Bash 中，注意到其中有許多形式的擴展。檢查變量是否存在: ${name:?error message}。例如，當 Bash 腳本須要一個參數時，可使用這樣的代碼 input_file=${1:?usage: $0 input_file}。數學表達式: i=$(( (i + 1) % 5 ))。序列: {1..10}。 截斷字符串: ${var%suffix} 和 ${var#prefix}。例如，假設 var=foo.pdf，那麼 echo ${var%.pdf}.txt 將輸出 foo.txt。

• 經過使用 <(some command) 能夠將輸出視爲文件。例如，對比本地文件 /etc/hosts 和一個遠程文件:

      diff /etc/hosts <(ssh somehost cat /etc/hosts)

• 瞭解 Bash 中的"here documents"，例如 cat <<EOF ...。

• 在 Bash 中，同時重定向標準輸出和標準錯誤，some-command >logfile 2>&1。一般，爲了保證命令不會在標準輸入裏殘留一個打開了的文件句柄致使你當前所在的終端沒法操做，添加 </dev/null 是一個好習慣。

• 使用 man ascii 查看具備十六進制和十進制值的ASCII表。man unicode，man utf-8，以及 man latin1 有助於你去了解通用的編碼信息。

• 使用 screen 或 tmux 來使用多個屏幕，當你在使用 ssh 時(保存 session 信息)將尤其有用。另外一個輕量級的解決方案是 dtach。

• ssh 中，瞭解如何使用 -L 或 -D(偶爾須要用 -R)去開啓隧道是很是有用的，例如當你須要從一臺遠程服務器上訪問 web。

• 對 ssh 設置作一些小優化多是頗有用的，例如這個 ~/.ssh/config 文件包含了防止特定環境下斷開鏈接、壓縮數據、多通道等選項：

TCPKeepAlive=yes
      ServerAliveInterval=15
      ServerAliveCountMax=6
      Compression=yes
      ControlMaster auto
      ControlPath /tmp/%r@%h:%p
      ControlPersist yes

• 部分其餘的關於 ssh 的選項是安全敏感且應當當心啓用的。例如在可信任的網絡中: StrictHostKeyChecking=no，ForwardAgent=yes

• 獲取文件的八進制格式權限，使用相似以下的代碼：

      stat -c '%A %a %n' /etc/timezone

• 使用 percol 能夠交互式地從另外一個命令輸出中選取值。

• 使用 fpp(PathPicker)能夠與基於另外一個命令(例如 git)輸出的文件交互。

• 將 web 服務器上當前目錄下全部的文件(以及子目錄)暴露給你所處網絡的全部用戶，使用： python -m SimpleHTTPServer 7777 (使用端口 7777 和 Python 2)或python -m http.server 7777 (使用端口 7777 和 Python 3)。

文件及數據處理

• 在當前路徑下經過文件名定位一個文件，find . -iname '*something*'(或相似的)。在全部路徑下經過文件名查找文件，使用 locate something (但請記住 updatedb 可能沒有對最近新建的文件創建索引)。

• 使用 ag 在源代碼或數據文件裏檢索(比 grep -r 更好)。

• 將HTML轉爲文本: lynx -dump -stdin

• Markdown，HTML，以及全部文檔格式之間的轉換，試試 pandoc。

• 若是你不得不處理 XML，xmlstarlet 寶刀未老。

• 使用 jq 處理 JSON。

• Excel 或 CSV 文件的處理，csvkit 提供了 in2csv，csvcut，csvjoin，csvgrep 等工具。

• 關於 Amazon S3，s3cmd 很方便而 s4cmd 更快。Amazon 官方的 aws 是其餘 AWS 相關工做的基礎。

• 瞭解如何使用 sort 和 uniq，包括 uniq 的 -u 參數和 -d 參數，詳見後文一行代碼節。另外能夠了解一下 comm。

• 瞭解如何使用 cut，paste 和 join 來更改文件。不少人都會使用 cut，但幾乎都不會使用 join。

• 瞭解如何運用 wc 去計算新行數(-l)，字符數(-m)，單詞數(-w)以及字節數(-c)。

• 瞭解如何使用 tee 將標準輸入複製到文件甚至標準輸出，例如 ls -al | tee file.txt。

• 瞭解語言環境對許多命令行工具的微妙影響，包括排序的順序和性能。大多數 Linux 的安裝過程會將 LANG 或其餘有關的變量設置爲符合本地的設置。意識到當你改變語言環境時，排序的結果可能會改變。明白國際化可能會時 sort 或其餘命令運行效率降低許多倍。某些狀況下(例如集合運算)你能夠放心的使用 export LC_ALL=C 來忽略掉國際化並使用基於字節的順序。

• 瞭解 awk 和 sed 關於數據的簡單處理的用法。例如，將文本文件中第三列的全部數字求和: awk '{ x += $3 } END { print x }'. 這可能比同等做用的 Python 代碼塊三倍且代碼量少三倍。

• 替換一個或多個文件中出現的字符串:

      perl -pi.bak -e 's/old-string/new-string/g' my-files-*.txt

• 依據某種模式批量重命名多個文件，使用 rename。對於複雜的重命名規則，repren 或許有幫助。

      # Recover backup files foo.bak -> foo:
      rename 's/\.bak$//' *.bak
      # Full rename of filenames，directories，and contents foo -> bar:
      repren --full --preserve-case --from foo --to bar .

• 使用 shuf 從一個文件中隨機選取行。

• 瞭解 sort 的參數。明白鍵的工做原理(-t 和 -k)。例如，注意到你須要 -k1，1 來僅按第一個域來排序，而 -k1 意味着按整行排序。穩定排序(sort -s)在某些狀況下頗有用。例如，以第二個域爲主關鍵字，第一個域爲次關鍵字進行排序，你可使用 sort -k1，1 | sort -s -k2，2。處理可讀性數字（例如 du -h 的輸出）的時候使用 sort -h 。

• 若是你想在 Bash 命令行中寫 tab 製表符，按下 ctrl-v [Tab] 或鍵入 $'\t' (後者可能更好，由於你能夠複製粘貼它)。

• 標準的源代碼對比及合併工具是 diff 和 patch。使用 diffstat 查看變動總覽數據。注意到 diff -r 對整個文件夾有效。使用 diff -r tree1 tree2 | diffstat 查看變動總覽數據。

• 對於二進制文件，使用 hd 使其以十六進制顯示以及使用 bvi 來編輯二進制。

• 一樣對於二進制文件，使用 strings(包括 grep 等等)容許你查找一些文本。

• 二進制文件對比(Delta 壓縮)，使用 xdelta3。

• 使用 iconv 更改文本編碼。而更高級的用法，可使用 uconv，它支持一些高級的 Unicode 功能。例如，這條命令將全部元音字母轉爲小寫並移除了:

      uconv -f utf-8 -t utf-8 -x '::Any-Lower; ::Any-NFD; [:Nonspacing Mark:] >; ::Any-NFC; ' < input.txt > output.txt

• 拆分文件，查看 split(按大小拆分)和 csplit(按模式拆分)。

• 使用 zless，zmore，zcat 和 zgrep對壓縮過的文件進行操做。

系統調試

• curl 和 curl -I 能夠便捷地被應用於 web 調試中，它們的好兄弟 wget 也能夠，或者是更潮的 httpie。

• 使用 iostat、netstat、top (htop 更佳)和 dstat 去獲取硬盤、cpu 和網絡的狀態。熟練掌握這些工具可使你快速的對系統的當前狀態有一個大概的認識。

• 若要對系統有一個深度的整體認識，使用 glances。它在一個終端窗口中向你提供一些系統級的數據。這對於快速的檢查各個子系統很是有幫助。

• 若要了解內存狀態，運行並理解 free 和 vmstat 的輸出。尤爲注意"cached"的值，它指的是 Linux 內核用來做爲文件緩存的內存大小，所以它與空閒內存無關。

• Java 系統調試則是一件大相徑庭的事，一個能夠用於 Oracle 的 JVM 或其餘 JVM 上的調試的小技巧是你能夠運行 kill -3 <pid> 同時一個完整的棧軌跡和堆概述(包括 GC 的細節)會被保存到標準輸出/日誌文件。

• 使用 mtr 去跟蹤路由，用於肯定網絡問題。

• 用 ncdu 來查看磁盤使用狀況，它比經常使用的命令，如 du -sh *，更節省時間。

• 查找正在使用帶寬的套接字鏈接或進程，使用 iftop 或 nethogs。

• ab 工具(捆綁於 Apache)能夠簡單粗暴地檢查 web 服務器的性能。對於更復雜的負載測試，使用 siege。

• wireshark，tshark 和 ngrep 可用於複雜的網絡調試。

• 瞭解 strace 和 ltrace。這倆工具在你的程序運行失敗、掛起甚至崩潰，而你殊不知道爲何或你想對性能有個整體的認識的時候是很是有用的。注意 profile 參數(-c)和附加到一個運行的進程參數 (-p)。

• 瞭解使用 ldd 來檢查共享庫。

• 瞭解如何運用 gdb 鏈接到一個運行着的進程並獲取它的堆棧軌跡。

• 學會使用 /proc。它在調試正在出現的問題的時候有時會效果驚人。好比: /proc/cpuinfo，/proc/xxx/cwd，/proc/xxx/exe，/proc/xxx/fd/，/proc/xxx/smaps。

• 當調試一些以前出現的問題的時候，sar 很是有用。它展現了 cpu、內存以及網絡等的歷史數據。

• 關於更深層次的系統分析以及性能分析，看看 stap(SystemTap)，perf，以及sysdig。

• 查看你當前使用的 Linux 發行版(大部分發行版有效): lsb_release -a

• 不管什麼東西工做得很歡樂時試試 dmesg (多是硬件或驅動問題)。

一行代碼

一些命令組合的例子:

• 當你須要對文本文件作集合交、並、差運算時，結合使用 sort/uniq 頗有幫助。假設 a 與 b 是兩內容不一樣的文件。這種方式效率很高，而且在小文件和上G的文件上都能運用 (sort 不被內存大小約束，儘管在 /tmp 在一個小的根分區上時你可能須要 -T 參數)，參閱前文中關於 LC_ALL 和 sort 的 -u 參數的部分。

      cat a b | sort | uniq > c   # c is a union b
      cat a b | sort | uniq -d > c   # c is a intersect b
      cat a b b | sort | uniq -u > c   # c is set difference a - b

• 使用 grep . * 來閱讀檢查目錄下全部文件的內容，例如檢查一個充滿配置文件的目錄好比 /sys、/proc、/etc。

• 計算文本文件第三列中全部數的和(可能比同等做用的 Python 代碼快三倍且代碼量少三倍):

      awk '{ x += $3 } END { print x }' myfile

• 若是你想在文件樹上查看大小\日期，這可能看起來像遞歸版的 ls -l 但比 ls -lR 更易於理解:

      find . -type f -ls

• 儘量的使用 xargs 或 parallel。注意到你能夠控制每行參數個數(-L)和最大並行數(-P)。若是你不肯定它們是否會按你想的那樣工做，先使用 xargs echo 查看一下。此外，使用 -I{} 會很方便。例如:

      find . -name '*.py' | xargs grep some_function
      cat hosts | xargs -I{} ssh root@{} hostname

• 假設你有一個相似於 web 服務器日誌文件的文本文件，而且一個肯定的值只會出如今某些行上，假設一個 acct_id 參數在URI中。若是你想計算出每一個 acct_id 值有多少次請求，使用以下代碼:

      cat access.log | egrep -o 'acct_id=[0-9]+' | cut -d= -f2 | sort | uniq -c | sort -rn

• 運行這個函數從這篇文檔中隨機獲取一條小技巧(解析 Markdown 文件並抽取項目):

      function taocl() {
        curl -s https://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README.md |
          pandoc -f markdown -t html |
          xmlstarlet fo --html --dropdtd |
          xmlstarlet sel -t -v "(html/body/ul/li[count(p)>0])[$RANDOM mod last()+1]" |
          xmlstarlet unesc | fmt -80
      }

冷門但有用

• expr: 計算表達式或正則匹配

• m4: 簡單地宏處理器

• yes: 屢次打印字符串

• cal: 漂亮的日曆

• env: 執行一個命令(腳本文件中頗有用)

• printenv: 打印環境變量(調試時或在使用腳本文件時頗有用)

• look: 查找以特定字符串開頭的單詞

• cut、paste 和 join: 數據修改

• fmt: 格式化文本段落

• pr: 將文本格式化成頁/列形式

• fold: 包裹文本中的幾行

• column: 將文本格式化成多列或表格

• expand 和 unexpand: 製表符與空格之間轉換

• nl: 添加行號

• seq: 打印數字

• bc: 計算器

• factor: 分解因數

• gpg: 加密並簽名文件

• toe: terminfo entries 列表

• nc: 網絡調試及數據傳輸

• socat: 套接字代理，與 netcat 相似

• slurm: 網絡可視化

• dd: 文件或設備間傳輸數據

• file: 肯定文件類型

• tree: 以樹的形式顯示路徑和文件，相似於遞歸的 ls

• stat: 文件信息

• tac: 反向輸出文件

• shuf: 文件中隨機選取幾行

• comm: 一行一行的比較排序過的文件

• pv: 監視經過管道的數據

• hd 和 bvi: 保存或編輯二進制文件

• strings: 從二進制文件中抽取文本

• tr: 轉換字母

• iconv 或 uconv: 簡易的文件編碼

• split 和 csplit: 分割文件

• units: 將一種計量單位轉換爲另外一種等效的計量單位(參閱 /usr/share/units/definitions.units)

• 7z: 高比例的文件壓縮

• ldd: 動態庫信息

• nm: 提取 obj 文件中的符號

• ab: 性能分析 web 服務器

• strace: 系統調用調試

• mtr: 更好的網絡調試跟蹤工具

• cssh: 可視化的併發 shell

• rsync: 經過 ssh 同步文件和文件夾

• wireshark 和 tshark: 抓包和網絡調試工具

• ngrep: 網絡層的 grep

• host 和 dig: DNS 查找

• lsof: 列出當前系統打開文件的工具以及查看端口信息

• dstat: 系統狀態查看

• glances: 高層次的多子系統總覽

• iostat: CPU 和硬盤狀態

• htop: top 的增強版

• last: 登入記錄

• w: 查看處於登陸狀態的用戶

• id: 用戶/組 ID 信息

• sar: 系統歷史數據

• iftop 或 nethogs: 套接字及進程的網絡利用

• ss: 套接字數據

• dmesg: 引導及系統錯誤信息

• hdparm: SATA/ATA 磁盤更改及性能分析

• lsb_release: Linux 發行版信息

• lsblk: 列出塊設備信息: 以樹形展現你的磁盤以及磁盤分區信息

• lshw，lscpu，lspci，lsusb 和 dmidecode: 查看硬件信息，包括 CPU、BIOS、RAID、顯卡、USB設備等

• fortune，ddate 和 sl: 額，這主要取決於你是否定爲蒸汽火車和莫名其妙的名人名言是否"有用"