linux 我的總結

---

title: "linux"

date: 2015-03-27 16:46

shell && 基本語法

基礎命令

if 語法

for x in $in_list;do
if [ "$new" == "$x" ]
then
    echo "same "$x
    continue
else
    continue
    #sh run.sh $new $x > $root$new"_"$x.log
fi
done;

cp

默認cp -i 會提示overrite。
能夠先unalias

不復制指定文件： cp -r `ls| grep -v git`  ~/tmp/text_analysis

grep 參考連接

在grep 中使用正則的{} 須要轉義
or
    grep -e | egrep 等
and
    grep -e "a.*b|b*.a"
not
    grep -v

du
-B
crontab
注意的地方： 默認root用戶執行。 添加 python path。python 路徑。

vim

%s/\\x22/"/g
%s/\\x5C//g
g 表明全局。
s 表明替換

AWK

NF 妙用
在awk中你們都知道NF的做用，它是一個awk的內建變量，表明是每行的字段數量。經常使用的幾種方式我給你們慢慢到來。最多的就是在讀取每一個字段內容 for(i=1;i<=NF;i++) 這個運用很是之多。咱們看看高級的幾個高級用法：
$ cat file
a b c d
1 2 3 4
$ awk -vOFS="|" 'NF+=0' file
a|b|c|d
1|2|3|4
[解析]
替換字段分割符，必需要對字段有個action才能使OFS生效，這裏咱們運用 NF+=0 的方法，即有了操做，而併爲改變其原有的值，很巧妙吧。

$ cat file 
aa
bb

cc

dd
$ awk NF file 
aa
bb
cc
dd
[解析]
  排除空行，由於空行NF=0，0爲假不會打印該行。

不打印某一個字段

cat file 
a b c d e f
1 2 3 4
awk 'NF-=2' file
a b c d
1 2
awk '{for(i=3;i<NF;i++)printf("%s ",$i);print $NF}' file
c d e f
3 4

[解析]
  不輸出後面2個字段和前面2個字段。

不打印某一列
    echo '1 2 3 4 5 6 7' | awk '{$1=$2=$3=""}1' | tr  ' ' '-' 
    ---4-5-6-7
    cat somefile | awk '{$1=$2=""; print $0}'

截取字符串
substr(str,start,end)

awk grep
注意grep的$0 要用「」

awk '{print $0;a="cat log|grep "$0"|head -n 1";system(a)}'

uniq

基本用法

uniq命令

文件通過處理後在它的輸出文件中可能會出現重複的行。例如，使用cat命令將兩個文件合併後，再使用sort命令進行排序，就可能出現重複行。這時可使用uniq命令將這些重複行從輸出文件中刪除，只留下每條記錄的惟同樣本。

語法：

uniq [選項] 文件

說明：這個命令讀取輸入文件，並比較相鄰的行。在正常狀況下，第二個及之後更多個重複行將被刪去，行比較是根據所用字符集的排序序列進行的。該命令加工後的結果寫到輸出文件中。輸入文件和輸出文件必須不一樣。若是輸入文件用「- 」表示，則從標準輸入讀取。

該命令各選項含義以下：

- c 顯示輸出中，在每行行首加上本行在文件中出現的次數。它可取代- u和- d選項。

- d 只顯示重複行。

- u 只顯示文件中不重複的各行。

- n 前n個字段與每一個字段前的空白一塊兒被忽略。一個字段是一個非空格、非製表符的字符串，彼此由製表符和空格隔開（字段從0開始編號）。

+n 前n個字符被忽略，以前的字符被跳過（字符從0開始編號）。

- f n 與- n相同，這裏n是字段數。

- s n 與＋n相同，這裏n是字符數。

文件交集、並集

1. 取出兩個文件的並集(重複的行只保留一份)

cat file1 file2 | sort | uniq

2. 取出兩個文件的交集(只留下同時存在於兩個文件中的文件)

cat file1 file2 | sort | uniq -d

3. 刪除交集，留下其餘的行

cat file1 file2 | sort | uniq -u

若是須要計數也有一個很好的參數uniq -c 能夠將相同行數的計數放在行首

sort排序是根據從輸入行抽取的一個或多個關鍵字進行比較來完成的。排序關鍵字定義了用來排序的最小的字符序列。缺省狀況下以整行爲關鍵字按ASCII字符順序進行排序。

改變缺省設置的選項主要有：

- m 若給定文件已排好序，合併文件。

- c 檢查給定文件是否已排好序，若是它們沒有都排好序，則打印一個出錯信息，並以狀態值1退出。

- u 對排序後認爲相同的行只留其中一行。

- o 輸出文件 將排序輸出寫到輸出文件中而不是標準輸出，若是輸出文件是輸入文件之一，sort先將該文件的內容寫入一個臨時文件，而後再排序和寫輸出結果。

改變缺省排序規則的選項主要有：

- d 按字典順序排序，比較時僅字母、數字、空格和製表符有意義。

- f 將小寫字母與大寫字母同等對待。

- I 忽略非打印字符。

- M 做爲月份比較：「JAN」<「FEB」

- r 按逆序輸出排序結果。

-k, -key=POS1[,POS2] posl - pos2 指定一個或幾個字段做爲排序關鍵字，字段位置從posl開始，到pos2爲止（包括posl，不包括pos2）。如不指定pos2，則關鍵字爲從posl到行尾。字段和字符的位置從0開始。

- b 在每行中尋找排序關鍵字時忽略前導的空白（空格和製表符）。

- t separator 指定字符separator做爲字段分隔符。

sed -s

用戶權限

chmod
chown [-R] 帳號名稱 文件或目錄
chgrp -R

chown [-R] 帳號名稱:用戶組名稱 文件或目錄

關於先後臺的命令

fg、bg、jobs、&、nohup、ctrl+z、ctrl+c 命令

1、&

加在一個命令的最後，能夠把這個命令放到後臺執行，如

watch  -n 10 sh  test.sh  &  #每10s在後臺執行一次test.sh腳本

2、ctrl + z

能夠將一個正在前臺執行的命令放到後臺，而且處於暫停狀態。

3、jobs

查看當前有多少在後臺運行的命令

jobs -l選項可顯示全部任務的PID，jobs的狀態能夠是running, stopped, Terminated。可是若是任務被終止了（kill），shell 從當前的shell環境已知的列表中刪除任務的進程標識。

4、fg

將後臺中的命令調至前臺繼續運行。若是後臺中有多個命令，能夠用fg %jobnumber（是命令編號，不是進程號）將選中的命令調出。

5、bg

將一個在後臺暫停的命令，變成在後臺繼續執行。若是後臺中有多個命令，能夠用bg %jobnumber將選中的命令調出。

6、kill

法子1：經過jobs命令查看job號（假設爲num），而後執行kill %num
法子2：經過ps命令查看job的進程號（PID，假設爲pid），而後執行kill pid
前臺進程的終止：Ctrl+c

7、nohup

若是讓程序始終在後臺執行，即便關閉當前的終端也執行（以前的&作不到），這時候須要nohup。該命令能夠在你退出賬戶/關閉終端以後繼續運行相應的進程。關閉中斷後，在另外一個終端jobs已經沒法看到後臺跑得程序了，此時利用ps（進程查看命令）

ps -aux | grep "test.sh"  #a:顯示全部程序 u:以用戶爲主的格式來顯示 x:顯示全部程序，不以終端機來區分

Linux運行與控制後臺進程的方法：nohup, setsid, &, disown, screen

1.nohup

顧名思義，nohup的用途就是讓提交的命令忽略全部的hangup信號。
使用方法：nohup COMMAND [ARG]...

2.setsid

在一個新的會話中運行命令，從而能夠避開當前終端發出的HUP信號。
使用方法：setsid COMMAND [ARG]...

3.&

能夠結合()產生一個新的子shell並在這個子shell中將任務放置到後臺運行，從而不受當前shell終端的HUP信號影響。
使用方法：(COMMAND [ARG]... &)

而我一般的使用方式爲：
nohup ./filename.sh > filename.log 2>&1 &
三點理由:
1)nohup保障進程不會被hangup信號異常中斷；
2)將任務放置到後臺運行，不佔用當前的終端；
3)將錯誤輸出也打印到log中，默認>只有標準輸出，錯誤輸出沒有。

4.控制進程

經過如下命令，咱們能夠對放入到後臺的命令進行控制

查看當前終端下的後臺進程：
直接執行：jobs

將查看到的某個後臺進程放回到前臺：
直接輸入：fg {jobid} //這裏的{jobid}是經過jobs命令中看到的進程前[]中的數字。

將當前正在前臺運行的進程放到後臺運行:
先敲下快捷鍵：ctrl +z //暫停當前正在運行的進程。
再執行：bg

終止當前正在前臺運行的進程：
直接敲下快捷鍵：ctrl +c

5.disown

亡羊補牢，爲沒有使用nohup與setsid的進程加上忽略HUP信號的功能。
使用方法：
將當前正在前臺運行的進程放到後臺運行（ctrl+z和bg）;
而後執行disown -h %{jobid} //這裏的{jobid}是經過jobs命令中看到的進程前[]中的數字。

6.經過screen來實現穩定的後臺運行

screen是創建一個新的全屏虛擬會話終端，這個會話只有在手動輸入exit的時候纔會退出，在這個會話裏執行的命令不用擔憂HUP信號會對咱們的進程    形成影響，所以也不用給每一個命令前都加上「nohup」或「setsid」了，很是適合咱們有規劃的執行大量的後臺任務，能夠很是方便的讓咱們對這些後臺任   務進行管理。

使用方法：
screen //當即建立並進入一個會話。
screen -dmS {name} //創建一個處於斷開模式下的會話，並根據咱們的須要指定其會話名稱。
screen -list //列出全部會話。
screen -r {name} //進入指定會話。
ctrl +ad //輸入快捷鍵ctrl +a和d，可暫時退出當前會話。
exit //進入指定會話後執行exit便可關閉該會話。

問題

linux 亂碼問題 查看locale 所有修改成en_US.UTF-8

linux 讀取windows 亂碼問題 iconv -f gbk -t utf8 README.txt > README.txt.utf8

快捷

1. 給出用戶名，用一行shell 命令kill掉全部該用戶全部進程。
   ○ 參考答案：
   § 用戶名：kobe
     ps -ef | grep kobe | grep -v 'grep|sshd' | awk '{print $2}' | xargs -i kill {}

多個字段匹配

grep -E "svm|Accuracy"

上傳公鑰

SSH Keys
SSH key 可讓你在你的電腦和 Git @ OSC 之間創建安全的加密鏈接。

你能夠按以下命令來生成sshkey

ssh-keygen -t rsa -C "xxxxx@xxxxx.com"# Creates a new ssh key using the provided email
Generating public/private rsa key pair...
查看你的public key，並把他添加到 Git @ OSC http://git.oschina.net/keys

cat ~/.ssh/id_rsa.pub
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC6eNtGpNGwstc....
添加後，在終端（Terminal）中輸入

ssh -T git@git.oschina.net
若返回

Welcome to Git@OSC, yourname! 則證實添加成功。