經常使用的ssh命令行

最近在Quora上看到一個問答題目，關於在高效率Linux用戶節省時間Tips。將該題目的回答進行學習總結，加上本身的一些經驗，記錄以下，方便本身和你們參考。

下面介紹的都是一些命令行工具，這些工具在幾位回答者的平常工做中都頗有用。對於任何不瞭解的命令，請使用「man <COMMANDNAME>「查看，或者使用Google。有些命令須要先用 yum, apt-get install 命令安裝。

1 基本命令

• 瞭解基本的bash

• 通讀整個bash man page.

• 學習VIM

• 在Linux系統上，雖然你有Emacs和Eclipse，可是VIM仍然是無出其右的利器。

• 瞭解SSH，基本的無密碼驗證方式。

• 例如經過ssh-agent, ssh-add等。 《靈犀志趣》平時都使用以下腳本完成無密碼驗證，省事省力。
  執行方式 sh nopasswd USER REMOTE_HOST
  執行此腳本前，請確認：

• 本機上已有 id_dsa.pub ,若無。 使用命令 ssh-keygen -t dsa 得到。

• 遠程機上登陸用戶家目錄下，已經有 .ssh 文件夾，若無建立之。

$ cat  nopasswd 
#!/bin/sh

scp ~/.ssh/id_dsa.pub  $1@$2:~/
ssh $1@$2 " touch ~/.ssh/authorized_keys ; cat ~/id_dsa.pub  >> ~/.ssh/authorized_keys; chmod 644 ~/.ssh/authorized_keys; exit"

• 熟悉Bash中經常使用的任務管理命令

• &,Ctrl-Z,Ctrl-C,jobs,fg,bg,kill 等。

• 基本的文件管理命令

• ls, ls-l, less, head, tail, tail -f, ln, ln -s, chmod, chown, du, du -sk *, df, mount

• 基本的網絡管理命令

• ipconfig, ifconfig, dig

• 熟悉正則表達式，以及 grep，egrep用到的選項

• -o, -A, -B

• 軟件安裝命令瞭解

• apt-get 和 yum

• cat -n

• 能夠幫助顯示行號。

• 
  

2 一些表達式

• !!

• 再次執行上一條命令

• !$

• 上一條命令的最後一個單詞

• {a..b}

• 按照從a到b順序的一個數字列表

• {a,b,c}

• 三個詞a,b,c. 能夠這樣使用 touch /tmp/{foo,bar,baz}

• {$1-$9}

• 執行shell腳本時的命令行參數

• $0

• 正在執行的命令名稱

• $#

• 當前啓動的命令中傳入的參數個數

• $?

• 上一條命令的執行返回值。

• $$

• 該shell的進程號。

• $*

• 從$1開始，啓動該shell腳本的全部參數。

• 
  

3 平常使用命令

• Ctrl-R

• 在bash中， Ctrl-R用於在歷史命令中搜索

• Ctrl-W, Ctrl-U, Alt-BackSpace

• bash中，Ctrl-W刪除最後一個詞，Ctrl-U刪除最後一行, Alt-BackSpace 刪除光標前的一個詞 man readline 中包含了大量bash中的默認熱鍵綁定.

• cd -

• 返回前一個工做路徑

• xargs

• 很是強大的命令。若是你還不肯定是否能正確的執行任務，能夠先用xargs echo查看。下面是一個用該功能的例子：

find . -name \*.py | xargs grep some_function
cat hosts | xargs -l {} ssh root@{} hostname

• parallel

• 一個更增強大的命令. 能夠實現並行執行任務,並能夠分割輸入文件, 指定多個節點同時運行命令等功能.詳細的功能能夠參考這個連接.

• pstree -p

• 打用進程樹的得力工具

• pgrep,pkill

• 使用名字查找進程，或者直接向指定名字的進程發送信號。

• 瞭解用戶能發送給進程的一些信號。好比 kill -STOP [pid] ，讓pid進程掛起。

• nohup，disown,screen, tmux

• 當你須要將進程永遠處在後臺運行是，這兩個命令頗有用。

• lsof, netstat -lntp

• 查詢當前什麼進程在監聽什麼端口。

• set

• 在bash腳本中， 使用 set -x 得到debug輸出，使用 set -e 得到錯誤輸出。

• ;

• 分號用於開啓一個子shell並運行至結束後關閉。 例如：

#在當前路徑下執行一些命令
(cd /some/other/dir; other-command)
# 工做路徑仍然是當前目錄

• 瞭解shell中的多種參數表達式

• 
  

• ${name:?error message}

• 檢查某個變量是否存在，若不存在輸出 error message。

• ${var%suffix}, ${var#prefix}

• 輸出var變量除前綴或者後綴外的部分。以下面的代碼輸出爲foo.txt.

var = foo.pdf
echo ${var%pdf}.txt

• <,>

• 輸入輸出重定向操做。

• some_command > logfile 2>&1

• 將 some_command 運行過程當中的標準輸出和標準錯誤輸出都輸出到文件logfile中。

• man ascii

• 得到一個好用的ASCII表格，包含10進制和16進制的值。

• screen,dtach

• 在遠程ssh繪畫中，使用這兩個命令能夠保存你的會話，避免由於網絡問題致使中斷。

• curl, curl -l, wget

• 在web頁面調試中，這幾個命令能幫你下載網頁代碼，頗有用。

• lynx -dump -stdin

• 將HTML轉換爲文本

• xmlstarlet

• 須要處理XML時，這個命令頗有用。

• ssh -L, ssh -D

• 須要利用遠程服務器訪問網頁時，這命令能夠幫助你在遠程服務器和你的機器之間創建ssh 隧道。

• ssh鏈接優化

• 以下配置能幫你避免連接丟失，不須要每次都輸入yes確認和遠程服務器的連接，以及在連接中啓用壓縮。建議將它放到.ssh/config中。

TCPKeepAlive=yes
ServerAliveInterval=15
ServerAliveCountMax=6
StrictHostKeyChecking=no
Compression=yes
ForwardAgent=yes

• 在正輸入的命令前加#

• 命令已經輸入一半，突然間改主意想少收運行時，
  可使用 Alt-# 在命令前加‘#’，將整個命令變成註釋。這樣你稍後就能在命令歷史中找到該命令了。

• cron

• 能夠幫助你制定一些定時執行的計劃任務。

• Ctrl-S Ctrl-C

• 將一不當心須要大量輸出文本時，依次輸入這兩個操做，
  比單純的頻繁按Ctrl-C能更快讓程序終止。

4 數據處理

• sort,uniq, uniq -u, uniq -d

• 瞭解這些排序命令

• cut,paste, join

• 瞭解這些文本文件的維護工具。不少人都在使用cut後，忘記join

• 使用sort/uniq進行集合的交、並、補運算=

• 假設a和b是兩個文本文件，其中的行都是惟一的。
  以下幾個命令能夠快速的實現一些集合操做。

cat a b | sort | uniq > c   # c is a union b
cat a b | sort | uniq -d > c   # c is a intersect b
cat a b b | sort | uniq -u > c   # c is set difference a - b

• 使用LC_ALL=C

• Linux中有關locale的設置會影響大量的命令行工具，其中包括排序工具。
  多數安裝的Linux系統都將LANG或者其餘的locale默認設置成US English。
  但這可能會致使排序及其餘命令慢上好幾倍。
  所以export LCALL=C能避免使用i18n形式處理數據，帶來性能提高。

• awk,sed

• 這兩個工具能實現複雜的數據替換和修改。
  例如，下面的命令實現對文本文件中低三列的數據求總和。
  使用shell完成此運算比用Python快3倍。

awk '{ x += $3 } END { print x }'

• shuf

• 該命令能夠從將一個文件中的行混洗，或者從中隨機選出一些行。

• sort

• 瞭解sort的經常使用選項(-t，-k， -s）如何工做。 注意-k1,1只會排序第一列，
  而-k1會根據整個行排序。 -s能實現穩定排序。
  例如，先使用第二個域排序，再按照域一排序，能夠用這段命令實現

cat INPUT_FILE | sort -k1,1  | sort -s -k2,2

• 製表符的輸入

• 在bash的命令行中，如若須要輸入製表符，可使用 Ctrl-V <tab> 或者 $’\t’ 實現

• hd,bvi

• 對於二進制文件，這兩個命令分別實現16進制抽取，二進制編輯操做。

• strings,grep

• 能夠幫助在二進制文件中尋找文本。

• iconv,uconv

• 能夠幫助轉換文本編碼

• split,csplit

• 分別能夠實現將文件按照大小分割，以及按照特定的模式分割。

5 系統調試

• iostat,netstat,top,atop,htop,dstat

• 能夠幫助瞭解硬盤，CPU，內存，網絡的狀態。
  這能幫你對系統正在發生的狀況有個第一認識。

• free,vmstat

• 若是想了解內存的狀態，這兩個命令很重要。
  其中cached是Linux內核中文件緩存的大小。

• kill -3 <pid>

• 在調試Java程序時，使用此命令，能夠在stderr/logs中找到完整的stack trace，
  堆信息(包含垃圾收集的細節).

• mtr,traceroute

• 可以幫忙找到網絡問題，前者比traceroute更好用。

• iftop,nethogs

• 這兩個命令能夠辦剛找出哪一個端口或者進程佔用了多少網絡帶寬。

• ab,siege

• 這個Apache自帶的工具能幫助快速檢查web服務器的性能。

• wireshark,tshark

• 是進行更高級的網絡調試的得力工具。

• strace,ltrace

• 這兩個命令能幫你在一無所知的狀況下，對程序運行失敗，假死，崩潰等問題帶來一些線索。
  另外，他們還能幫忙發現一些性能問題。好比 -c選項能夠作profiling；
  -p選項能夠掛到某個指定的進程上。

• ldd

• 檢查共享庫的狀況

• gdb

• 瞭解如何利用GDB鏈接到一個正在運行的進程，而且獲得其stack trace。

• /proc/

• 在作現場調試的時候頗有用。好比 /proc/cpuinfo, /proc/XXX/cwd, /proc/XXX/exe, /proc/XXX/fd/, /proc/XXX/smaps

• sar

• 在須要判斷爲什麼過去某個時間系統會出錯時，這個命令能顯示CPU，內存和網絡的歷史狀況。

• stap, perf

• 當須要更深的分析系統，以及性能狀況時，這兩個工具頗有用。

• dmesg

• 當系統出現一些很反常的現象時，好比多是硬件或驅動問題時，這個很管用