命令行

• 學習Bash的基礎知識。具體來講，輸入 man bash 並至少全文瀏覽一遍; 它很簡單而且不長。其餘的shell可能很好用，但Bash功能強大且幾乎全部狀況下都是可用的 ( 只學習 zsh，fish或其餘的shell的話，在你本身的電腦上會顯得很方便，但在不少狀況下會限制你，好比當你須要在服務器上工做時)。

• 學習並掌握至少一個基於文本的編輯器。一般 Vim (vi) 會是你最好的選擇。

• 學會如何使用man命令去閱讀文檔。學會使用apropos去查找文檔。瞭解有些命令並不對應可執行文件，而是Bash內置的，可使用help和help -d命令獲取幫助信息。

• 學會使用>和<來重定向輸出和輸入，學會使用|來重定向管道。瞭解標準輸出stdout和標準錯誤stderr。

• 學會使用通配符* (或許再算上?和{...}) 和引用以及引用中'和"的區別。

• 熟悉Bash任務管理工具: &，ctrl-z，ctrl-c，jobs，fg，bg，kill 等。

• 瞭解ssh，以及基本的無密碼認證，ssh-agent，ssh-add等。

• 學會基本的文件管理: ls 和 ls -l (瞭解ls -l中每一列表明的意義)，less，head，tail和tail -f (甚至 less +F)，ln and ln -s (瞭解硬連接與軟連接的區別)，chown，chmod，du (硬盤使用狀況概述: du -sk *)。 關於文件系統的管理，學習 df，mount，fdisk，mkfs，lsblk。

• 學習基本的網絡管理: ip 或 ifconfig，dig。

• 熟悉正則表達式，以及grep/egrep裏不一樣參數的做用，例如-i，-o，-A，和 -B。

• 學會使用 apt-get，yum，dnf 或 pacman (取決於你使用的Linux發行版)來查找或安裝包。確保你的環境中有 pip來安裝基於Python的命令行工具 (部分程序使用pip來安裝會很簡單)。

平常使用

• 在Bash中，可使用Tab自動補全參數，使用ctrl-r搜索命令行歷史。

• 在Bash中，使用ctrl-w刪除你鍵入的最後一個單詞，使用ctrl-u刪除整行，使用alt-b和alt-f按單詞移動，使用ctrl-k從光標處刪除到行尾，使用ctrl-l清屏。鍵入man readline查看Bash中的默認快捷鍵，內容不少。例如alt-. 循環地移向前一個參數，以及alt-*展開通配符。

• 你喜歡的話，能夠鍵入set -o vi來使用vi風格的快捷鍵。

• 鍵入history查看命令行歷史記錄。其中有許多縮寫，例如!$ (最後鍵入的參數)和!!(最後鍵入的命令)，儘管一般被ctrl-r和alt-.取代。

• 回到上一個工做路徑: cd -

• 若是你輸入命令的時候改變了主意，按下alt-#在行首添加#(將你輸入的命令視爲註釋)，並回車。這樣作的話，以後你能夠很方便的利用命令行歷史回到你剛纔輸入到一半的命令。

• 使用xargs ( 或parallel)。他們很是給力。注意到你能夠控制每行參數個數(-L)和最大並行數 (-P)。若是你不肯定它們是否會按你想的那樣工做，先使用xargs echo查看一下。此外，使用-I{}會很方便。例如:

      find . -name '*.py' | xargs grep some_function cat hosts | xargs -I{} ssh root@{} hostname

• pstree -p有助於展現進程樹。

• 使用pgrep和pkill根據名字查找進程或發送信號。

• 瞭解你能夠發往進程的信號的種類。好比，使用kill -STOP [pid]中止一個進程。使用man 7 signal查看詳細列表。

• 使用nohup或disown使一個後臺進程持續運行。

• 使用netstat -lntp或ss -plat檢查哪些進程在監聽端口(默認是檢查TCP端口; 使用參數-u檢查UDP端口)。

• 有關打開套接字和文件，請參閱lsof。

• 在Bash腳本中，使用set -x去調試輸出，儘量的使用嚴格模式，使用set -e令腳本在發生錯誤時退出而不是繼續運行，使用set -o pipefail嚴謹地對待錯誤(儘管問題可能很微妙)。當牽扯到不少腳本時，使用trap。

• 在Bash腳本中，子shell(使用括號(...))是一種便捷的方式去組織參數。一個常見的例子是臨時地移動工做路徑，代碼以下：

      # do something in current dir
      (cd /some/other/dir && other-command) # continue in original dir

• 在Bash中，注意到其中有許多形式的擴展。檢查變量是否存在: ${name:?error message}。例如，當Bash腳本須要一個參數時，可使用這樣的代碼input_file=${1:?usage: $0 input_file}。數學表達式: i=$(( (i + 1) % 5 ))。序列: {1..10}。 截斷字符串: ${var%suffix}和${var#prefix}。例如，假設var=foo.pdf，那麼echo ${var%.pdf}.txt將輸出foo.txt。

• 經過使用<(some command)能夠將輸出視爲文件。例如，對比本地文件/etc/hosts和一個遠程文件:

      diff /etc/hosts <(ssh somehost cat /etc/hosts)

• 瞭解Bash中的"here documents"，例如cat <<EOF ...。

• 在Bash中，同時重定向標準輸出和標準錯誤，some-command >logfile 2>&1。一般，爲了保證命令不會在標準輸入裏殘留一個打開了的文件句柄致使你當前所在的終端沒法操做，添加</dev/null是一個好習慣。

• 使用man ascii查看具備十六進制和十進制值的ASCII表。man unicode，man utf-8，以及 man latin1 有助於你去了解通用的編碼信息。

• 使用screen或tmux來使用多個屏幕，當你在使用ssh時(保存session信息)將尤其有用。另外一個輕量級的解決方案是dtach。

• ssh中，瞭解如何使用-L或-D(偶爾須要用-R)去開啓隧道是很是有用的，例如當你須要從一臺遠程服務器上訪問web。

• 對ssh設置作一些小優化多是頗有用的，例如這個~/.ssh/config文件包含了防止特定環境下斷開鏈接、壓縮數據、多通道等選項：

TCPKeepAlive=yes
      ServerAliveInterval=15
      ServerAliveCountMax=6
      Compression=yes
      ControlMaster auto
      ControlPath /tmp/%r@%h:%p
      ControlPersist yes

• 部分其餘的關於ssh的選項是安全敏感且應當當心啓用的。例如在可信任的網絡中:StrictHostKeyChecking=no，ForwardAgent=yes

• 獲取文件的八進制格式權限，使用相似以下的代碼：

      stat -c '%A %a %n' /etc/timezone

• 使用percol能夠交互式地從另外一個命令輸出中選取值。

• 使用fpp(PathPicker)能夠與基於另外一個命令(例如git)輸出的文件交互。

• 將web服務器上當前目錄下全部的文件(以及子目錄)暴露給你所處網絡的全部用戶，使用： python -m SimpleHTTPServer 7777 (使用端口7777和Python 2)或python -m http.server 7777 (使用端口7777和Python 3)。

文件及數據處理

• 在當前路徑下經過文件名定位一個文件，find . -iname '*something*'(或相似的)。在全部路徑下經過文件名查找文件，使用 locate something (但請記住updatedb可能沒有對最近新建的文件創建索引)。

• 使用ag在源代碼或數據文件裏檢索(比grep -r更好)。

• 將HTML轉爲文本: lynx -dump -stdin

• Markdown，HTML，以及全部文檔格式之間的轉換，試試 pandoc。

• 若是你不得不處理XML，xmlstarlet寶刀未老。

• 使用jq處理JSON。

• Excel或CSV文件的處理，csvkit提供了in2csv，csvcut，csvjoin，csvgrep等工具。

• 關於Amazon S3，s3cmd很方便而s4cmd更快。Amazon官方的aws是其餘AWS相關工做的基礎。

• 瞭解如何使用sort和uniq，包括uniq的-u參數和-d參數，詳見後文一行代碼節。另外能夠了解一下comm。

• 瞭解如何使用cut，paste和join來更改文件。不少人都會使用cut，但幾乎都不會使用join。

• 瞭解如何運用wc去計算新行數(-l)，字符數(-m)，單詞數(-w)以及字節數(-c)。

• 瞭解如何使用tee將標準輸入複製到文件甚至標準輸出，例如ls -al | tee file.txt。

• 瞭解語言環境對許多命令行工具的微妙影響，包括排序的順序和性能。大多數Linux的安裝過程會將LANG或其餘有關的變量設置爲符合本地的設置。意識到當你改變語言環境時，排序的結果可能會改變。明白國際化可能會時sort或其餘命令運行效率降低許多倍。某些狀況下(例如集合運算)你能夠放心的使用export LC_ALL=C來忽略掉國際化並使用基於字節的順序。

• 瞭解awk和sed關於數據的簡單處理的用法。例如，將文本文件中第三列的全部數字求和: awk '{ x += $3 } END { print x }'. 這可能比同等做用的Python代碼塊三倍且代碼量少三倍。

• 替換一個或多個文件中出現的字符串:

      perl -pi.bak -e 's/old-string/new-string/g' my-files-*.txt

• 依據某種模式批量重命名多個文件，使用rename。對於複雜的重命名規則，repren或許有幫助。

      # Recover backup files foo.bak -> foo:
      rename 's/\.bak$//' *.bak # Full rename of filenames，directories，and contents foo -> bar: repren --full --preserve-case --from foo --to bar .

• 使用shuf從一個文件中隨機選取行。

• 瞭解sort的參數。明白鍵的工做原理(-t和-k)。例如，注意到你須要-k1，1來僅按第一個域來排序，而-k1意味着按整行排序。

• 穩定排序(sort -s)在某些狀況下頗有用。例如，以第二個域爲主關鍵字，第一個域爲次關鍵字進行排序，你可使用sort -k1，1 | sort -s -k2，2

• 若是你想在Bash命令行中寫tab製表符，按下ctrl-v [Tab] 或鍵入$'\t'(後者可能更好，由於你能夠複製粘貼它)。

• 標準的源代碼對比及合併工具是diff和patch。使用diffstat查看變動總覽數據。注意到diff -r對整個文件夾有效。使用diff -r tree1 tree2 | diffstat查看變動總覽數據。

• 對於二進制文件，使用hd使其以十六進制顯示以及使用bvi來編輯二進制。

• 一樣對於二進制文件，使用strings(包括grep等等)容許你查找一些文本。

• 二進制文件對比(Delta壓縮)，使用xdelta3。

• 使用iconv更改文本編碼。而更高級的用法，可使用uconv，它支持一些高級的Unicode功能。例如，這條命令將全部元音字母轉爲小寫並移除了:

      uconv -f utf-8 -t utf-8 -x '::Any-Lower; ::Any-NFD; [:Nonspacing Mark:] >; ::Any-NFC; ' < input.txt > output.txt

• 拆分文件，查看split(按大小拆分)和csplit(按模式拆分)。

• 使用zless，zmore，zcat和zgrep對壓縮過的文件進行操做。

系統調試

• curl和curl -I能夠便捷地被應用於web調試中，它們的好兄弟wget也能夠，或者是更潮流的httpie。

• 使用iostat、netstat、top (htop更佳) 和dstat去獲取硬盤、cpu和網絡的狀態。熟練掌握這些工具可使你快速的對系統的當前狀態有一個大概的認識。

• 若要對系統有一個深度的整體認識，使用glances。它在一個終端窗口中向你提供一些系統級的數據。這對於快速的檢查各個子系統很是有幫助。

• 若要了解內存狀態，運行並理解free和vmstat的輸出。尤爲注意"cached"的值，它指的是Linux內核用來做爲文件緩存的內存大小，所以它與空閒內存無關。

• Java系統調試則是一件大相徑庭的事，一個能夠用於Oracle的JVM或其餘JVM上的調試的小技巧是你能夠運行kill -3 <pid>同時一個完整的棧軌跡和堆概述(包括GC的細節)會被保存到標準輸出/日誌文件。

• 使用mtr去跟蹤路由，用於肯定網絡問題。

• 用ncdu來查看磁盤使用狀況，它比經常使用的命令，如du -sh *，更節省時間。

• 查找正在使用帶寬的套接字鏈接或進程，使用iftop或nethogs。

• ab工具(捆綁於Apache)能夠簡單粗暴地檢查web服務器的性能。對於更復雜的負載測試，使用siege。

• wireshark，tshark和ngrep可用於複雜的網絡調試。

• 瞭解strace和ltrace。這倆工具在你的程序運行失敗、掛起甚至崩潰，而你殊不知道爲何或你想對性能有個整體的認識的時候是很是有用的。注意profile參數(-c)和附加到一個運行的進程參數 (-p)。

• 瞭解使用ldd來檢查共享庫。

• 瞭解如何運用gdb鏈接到一個運行着的進程並獲取它的堆棧軌跡。

• 學會使用/proc。它在調試正在出現的問題的時候有時會效果驚人。好比:/proc/cpuinfo，/proc/xxx/cwd，/proc/xxx/exe，/proc/xxx/fd/，/proc/xxx/smaps。

• 當調試一些以前出現的問題的時候，sar很是有用。它展現了cpu、內存以及網絡等的歷史數據。

• 關於更深層次的系統分析以及性能分析，看看stap (SystemTap)，perf，以及sysdig。

• 查看你當前使用的Linux髮型版(大部分發行版有效): lsb_release -a

• 不管什麼東西工做得很歡樂時試試dmesg(多是硬件或驅動問題)。

一行代碼

一些命令組合的例子:

• 當你須要對文本文件作集合交、並、差運算時，結合使用sort/uniq頗有幫助。假設a與b是兩內容不一樣的文件。這種方式效率很高，而且在小文件和上G的文件上都能運用 (sort不被內存大小約束，儘管在/tmp在一個小的根分區上時你可能須要-T參數)，參閱前文中關於LC_ALL和sort的-u參數的部分。

      cat a b | sort | uniq > c # c is a union b cat a b | sort | uniq -d > c # c is a intersect b cat a b b | sort | uniq -u > c # c is set difference a - b

• 使用grep . *來閱讀檢查目錄下全部文件的內容，例如檢查一個充滿配置文件的目錄好比/sys、/proc、/etc。

• 計算文本文件第三列中全部數的和(可能比同等做用的Python代碼塊三倍且代碼量少三倍):

      awk '{ x += $3 } END { print x }' myfile

• 若是你想在文件樹上查看大小\日期，這可能看起來像遞歸版的ls -l但比ls -lR更易於理解:

      find . -type f -ls

• 儘量的使用xargs或parallel。注意到你能夠控制每行參數個數(-L)和最大並行數 (-P)。若是你不肯定它們是否會按你想的那樣工做，先使用xargs echo查看一下。此外，使用-I{}會很方便。例如:

      find . -name '*.py' | xargs grep some_function cat hosts | xargs -I{} ssh root@{} hostname

• 假設你有一個相似於web服務器日誌文件的文本文件，而且一個肯定的值只會出如今某些行上，假設一個acct_id參數在URI中。若是你想計算出每一個acct_id值有多少次請求，使用以下代碼:

      cat access.log | egrep -o 'acct_id=[0-9]+' | cut -d= -f2 | sort | uniq -c | sort -rn

• 運行這個函數從這篇文檔中隨機獲取一條小技巧(解析Markdown文件並抽取項目):

      function taocl() { curl -s https://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README.md | pandoc -f markdown -t html | xmlstarlet fo --html --dropdtd | xmlstarlet sel -t -v "(html/body/ul/li[count(p)>0])[$RANDOM mod last()+1]" | xmlstarlet unesc | fmt -80 }

冷門但有用

• expr: 計算表達式或正則匹配

• m4: 簡單地宏處理器

• yes: 屢次打印字符串

• cal: 漂亮的日曆

• env: 執行一個命令(腳本文件中頗有用)

• printenv: 打印環境變量(調試時或在使用腳本文件時頗有用)

• look: 查找以特定字符串開頭的單詞

• cut、paste和join: 數據修改

• fmt: 格式化文本段落

• pr: 將文本格式化成頁/列形式

• fold: 包裹文本中的幾行

• column: 將文本格式化成多列或表格

• expand和unexpand: 製表符與空格之間轉換

• nl: 添加行號

• seq: 打印數字

• bc: 計算器

• factor: 分解因數

• gpg: 加密並簽名文件

• toe: terminfo entries列表

• nc: 網絡調試及數據傳輸

• socat: 套接字代理，與netcat相似

• slurm: 網絡可視化

• dd: 文件或設備間傳輸數據

• file: 肯定文件類型

• tree: 以樹的形式顯示路徑和文件，相似於遞歸的ls

• stat: 文件信息

• tac: 反向輸出文件

• shuf: 文件中隨機選取幾行

• comm: 一行一行的比較排序過的文件

• pv: 監視經過管道的數據

• hd 和 bvi: 保存或編輯二進制文件

• strings: 從二進制文件中抽取文本

• tr: 轉換字母

• iconv或uconv: 簡易的文件編碼

• split和csplit: 分割文件

• units: 將一種計量單位轉換爲另外一種等效的計量單位(參閱/usr/share/units/definitions.units)

• 7z: 高比例的文件壓縮

• ldd: 動態庫信息

• nm: 提取obj文件中的符號

• ab: 性能分析web服務器

• strace: 系統調用調試

• mtr: 更好的網絡調試跟蹤工具

• cssh: 可視化的併發shell

• rsync: 經過ssh同步文件和文件夾

• wireshark和tshark:抓包和網絡調試工具

• ngrep: 網絡層的grep

• host 和 dig: DNS查找

• lsof: 列出當前系統打開文件的工具以及查看端口信息

• dstat: 系統狀態查看

• glances: 高層次的多子系統總覽

• iostat: CPU和硬盤狀態

• htop: top的增強版

• last: 登入記錄

• w: 查看處於登陸狀態的用戶

• id: 用戶/組ID信息

• sar: 系統歷史數據

• iftop 或 nethogs: 套接字及進程的網絡利用

• ss: 套接字數據

• dmesg: 引導及系統錯誤信息

• hdparm: SATA/ATA磁盤更改及性能分析

• lsb_release: Linux發行版信息

• lsblk: 列出塊設備信息: 以樹形展現你的磁盤以及磁盤分區信息

• lshw 及 lspci: 查看硬件信息，包括RAID、顯卡等

• fortune，ddate和sl: 額，這主要取決於你是否定爲蒸汽火車和莫名其妙的名人名言是否"有用"