學習令人進步,好記性不如爛筆頭
# -*- coding: utf-8 -*-
#!/bin/sh
經過 set 命令來查看 環境變量
name='frank'
echo ${name}
使用unset命令能夠刪除變量,變量被刪除後不能再次使用,同時unset命令不能刪除只讀變量。
d=`date`
echo ${d:1:5}
demo.sh
#!/bin/bash
echo $0 # 文件名
echo $1 # 第一個參數
echo $2 # 第二個參數
echo $3 # 第三個參數
echo 'hello world!'
bash ./demo.sh aaa bbb ccc
demo.sh
aaa
bbb
ccc
hello world!
# 基礎綜合
#!/bin/bash
a=10
readonly a
b=20
if [ $a -le $b ]
then
echo 'less than'
else
echo 'not less than'
fi
echo "a is ${a} , b is ${b}"
a=99
d=`date`
echo "$d 的長度是:${#d} 那咱們來取出它的前三位${d:0:3}"
echo `expr index "${d}" Ju`
arr1=(1 2 3 4 'hello' 'world')
echo "${arr1[*]} 的長度爲 ${#arr1[*]}"
for((i=0; i<=${#arr1[*]};i++))
do
(echo ${arr1[i]})
done
遍歷數組
for((i=0;i<=${#arr[*]};i++)); do echo ${arr[i]}; done
讀取輸入參數
#!/bin/bash
#author Frank
#date 2019/06/09
#functionality: 用於熟悉 read 指令
#小結: -p 輸入提示文字 -n 輸入字符長度限制(達到3 位自動結束)
# -t 輸入限時 5 秒 -s 隱藏輸入內容
read -p "請輸入兩個參與運算的參數" -n 3 -t 5 -s param1 param2
sum=`expr ${param1} + ${param2}`
echo "您輸入的兩數之和爲 ${sum}"
$ 的 做用即 取值
if [ $(ps -ef | grep -c "ssh") -gt 1 ]; then echo "true"; fi
printf 代替 echo ,記住格式化參數
test 和 中括號 [[]]
if test $[num1] -eq $[num2]
if [ $a == $b ]
i=`expr $i + 1`
let "i++"
for(( i=0;i<=5;i++))
do
echo $i
done
i=0;
while(( $i<5 ));
do echo $i;
i=`expr $i + 1`;
done
until (( $i>=5 ))
> do
> echo $i
> let "i++"
> done
#!/bin/bash
while :
do
echo -n "輸入 1 到 5 之間的數字:"
read aNum
case $aNum in
1|2|3|4|5) echo "你輸入的數字爲 $aNum!"
;;
*) echo "你輸入的數字不是 1 到 5 之間的! 遊戲結束"
break
;;
esac
done
case的語法和C family語言差異很大,它須要一個esac(就是case反過來)做爲結束標記,每一個case分支用右圓括號,用兩個分號表示break。
標準輸入文件(stdin):stdin的文件描述符爲0,Unix程序默認從stdin讀取數據。
標準輸出文件(stdout):stdout 的文件描述符爲1,Unix程序默認向stdout輸出數據。
標準錯誤文件(stderr):stderr的文件描述符爲2,Unix程序會向stderr流中寫入錯誤信息。
cat < aaa.sh >bbb.sh
cat << EOF
歡迎來到
菜鳥教程
www.runoob.com
EOF
nohup是永久執行
&是指在後臺運行
運行 nohup --help
Run COMMAND, ignoring hangup signals. 能夠看到是「運行命令,忽略掛起信號」
就是指,用nohup運行命令可使命令永久的執行下去,和用戶終端沒有關係,例如咱們斷開SSH鏈接都不會影響他的運行,注意了nohup沒有後臺運行的意思;&纔是後臺運行
&是指在後臺運行,但當用戶推出(掛起)的時候,命令自動也跟着退出
那麼,咱們能夠巧妙的吧他們結合起來用就是
nohup COMMAND &
這樣就能使命令永久的在後臺執行
. ./test.sh
source ./test.sh
被包含的文件 test1.sh 不須要可執行權限。
想一想二者的區別
sum=`expr ${sum} + $i`
sum=$[$i+$sum]
#!/bin/bash
<<EOF
編寫shell腳本,輸入一個數字n並計算1~n的和。
要求:若是輸入的數字小於1,則從新輸入,直到輸入正確的數字爲止。
EOF
num=0
sum=0
while [[ $num<1 ]]
do
read -p "請輸入一個不小於 1 的數字" num
for ((i=1;i<=$num;i++)){
sum=$[$i+$sum]
}
done
echo $sum
#!/bin/bash
read -p "input number:" a
read -p "input number:" b
read -p "input fuhao:" c
case $c in
+)let "sum=$a+$b"
echo $sum;;
-)let "sum=$a-$b"
echo $sum;;
*)let "sum=$a*$b"
echo $sum;;
/)let "sum=$a/$b"
echo $sum;;
esac
如何 debug shell
bashdb
sleep
sh -n ./test.sh
sh -x /.test.sh
做業一 修改擴展名
#!/bin/bash
path=$1
for i in `ls "$1"*.txt`
do
mv $i ${i%.txt}.text
done
做業二 定時刪除或者歸檔日誌文件
小結
- Shell 很實用
- Shell 的語法也很醜陋, 沒有之一,若是有那就是 cmd or bat
cd – 回到上一次的目錄
# 統計使用頻率最高的 十條命令
history | awk '{CMD[$2]++;count++;} END { for (a in CMD )print CMD[a] " " CMD[a]/count*100 "% " a }' | grep -v "./" | column -c3 -s " " -t | sort -nr | nl | head -n10
vim scp://username@host//path/to/somefile
ps aux | sort -nk +4 | tail
du -s * | sort -n | tail
sudo kill -9 `ps -ef|grep ml-plugin-0.0.1-SNAPSHOT.jar|grep -v "grep"|awk '{print $2}'`
sudo ps -ef|grep ml-plugin-0.0.1-SNAPSHOT.jar|grep -v "grep"|awk '{print $2}'|xargs sudo kill -9
sudo kill $(ps -ef |grep jar|grep -v grep|awk '{print $2}')
find . -name '2019*.log' -type f -print|xargs sudo tar -cvzf test_log.tar.gz
yes|sudo rm test_log.tar.gz
cat urls.txt | xargs wget
請你要記得,第一個命令的輸出會在 xargs 命令結尾處傳遞。
那若是命令須要中間過程的輸出,該怎麼辦呢?這個簡單!
只須要使用 {} 並結合 -i 參數就好了。以下所示,替換在第一個命令的輸出應該去的地方的參數:
ls /etc/*.conf | xargs -i cp {} /home/likegeeks/Desktop/out
tail -fn0 logfile | \
while read line ; do
echo "$line" | grep "pattern"
if [ $? = 0 ]
then
... do something ...
fi
done
watch -n 1 -t "ps -ef|grep jar"
watch -n 1 -d "date"
netstat -tunlp|grep 8999
一個目錄下文件及文件夾的個數:
ls | wc -w
一個目錄下文件文件的個數:
ls -l | grep 「^-」 |wc -l
一個目錄下文件文件夾的個數:
ls -l | grep 「^d」 |wc -l
統計當前文件夾下文件的個數,包括子文件夾裏的:
ls -lR | grep 「^-」 |wc -l
ifconfig | grep eth | awk '{print $5}' #獲取mac地址
find . -name '*.py' -print0 | xargs -0 ls -lt | head -20 # 最近修改的前二十個文件
實用主義
1) lsof -i -n | grep ESTABLISHED #查看鏈接狀態的TCP連接2) ifconfig | grep eth | awk '{print $5}' #獲取mac地址
3) find . -name '*pdf*' -print0 | xargs -0 ls -lt | head -20 #尋找最新修改的文件
4) rename "s/ *//g" *.jpg
#清除文件名中的空白5) grep -v "^\W$"
#匹配非空行6) ifdata -pN eth0
#獲取ip地址7) pwgen -Bnyc
#生成安全的隨機密碼8) cat /proc/version
#顯示發行版9) ls -ldct /lost+found |awk '{print $6, $7}'
#查看系統安裝時間10) :> ui filename
#刪除文件內容,但保留文件11) mtr google.com
#混合ping和traceroute的工具12) watch -n1 'ifconfig eth0|grep bytes'
#查看網絡流量13) netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n
#顯示鏈接到本機上的IP列表14)
echo SSBMb3ZlIFlvdQo= | base64 -d
#嘗試一下,你就知道15) timeout 30s ping t.tt
#限時執行某項命令,d(天)/h(小時)/m(分鐘)/s(秒)
16) dd if=/dev/urandom | tr -d -c [:print:] | tr -d " " | dd count=1 bs=8 2> /dev/null; echo
#隨機建立一個八位的複雜密碼17) alias mm='sh /root/job/passwd.sh'
#給執行命令語句或命令起個小名18) ls -R | grep -v keepfilename | xargs rm -Rf
#排除關鍵字後rm,切記grep後面加參數v,不然刪除關鍵字文件19) dirname `pwd`
#獲取當目錄的父目錄20) cal | egrep -e '^ [0-9]|^[0-9]' | tr '\n' ' ' | awk '{print $NF}' #顯示當月最後一天是幾號
序號 任務 命令組合
1 刪除0字節文件 find . -type f -size 0 -exec rm -rf {} \; find . type f -size 0 -delete
2 查看進程,按內存從大到小排列 ps -e -o 「%C : %p : %z : %a」|sort -k5 -nr
3 按cpu利用率從大到小排列 ps -e -o 「%C : %p : %z : %a」|sort -nr
4 打印說cache裏的URL grep -r -a jpg /data/cache/* | strings | grep 「http:」 | awk -F’http:’ ‘{print 「http:」$2;}’
5 查看http的併發請求數及其TCP鏈接狀態 netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’
6 sed在這個文裏Root的一行,匹配Root一行,將no替換成yes。 sed -i ‘/Root/s/no/yes/’ /etc/ssh/sshd_config
7 如何殺掉mysql進程 ps aux |grep mysql |grep -v grep |awk ‘{print $2}’ |xargs kill -9 killall -TERM mysqld kill -9 `cat /usr/local/apache2/logs/httpd.pid`
8 顯示運行3級別開啓的服務(從中瞭解到cut的用途,截取數據) ls /etc/rc3.d/S* |cut -c 15-
9 如何在編寫SHELL顯示多個信息,用EOF cat << EOF +————————————————————–+ | === Welcome to Tunoff services === | +————————————————————–+ EOF
10 for的用法(如給mysql建軟連接) cd /usr/local/mysql/bin for i in * do ln /usr/local/mysql/bin/$i /usr/bin/$i done
11 取IP地址 ifconfig eth0 |grep 「inet addr:」 |awk ‘{print $2}’|cut -c 6- ifconfig | grep ‘inet addr:’| grep -v ’127.0.0.1′ |cut -d: -f2 | awk ‘{ print $1}’
12 內存的大小 free -m |grep 「Mem」 | awk ‘{print $2}’
13 查看80端口的鏈接,並排序 netstat -an -t | grep 「:80″ | grep ESTABLISHED | awk ‘{printf 「%s %s\n」,$5,$6}’ | sort
14 查看Apache的併發請求數及其TCP鏈接狀態 netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’
15 統計一下服務器下面全部的jpg的文件的大小 find / -name *.jpg -exec wc -c {} \;|awk ‘{print $1}’|awk ‘{a+=$1}END{print a}’
16 CPU的數量 cat /proc/cpuinfo |grep -c processor
17 CPU負載 cat /proc/loadavg
18 CPU負載 mpstat 1 1
19 內存空間 free
20 磁盤空間 df -h
21 如發現某個分區空間接近用盡,能夠進入該分區的掛載點,用如下命令找出佔用空間最多的文件或目錄 du -cks * | sort -rn | head -n 10
22 磁盤I/O負載 iostat -x 1 2
23 網絡負載 sar -n DEV
24 網絡錯誤 netstat -i cat /proc/net/dev
25 網絡鏈接數目 netstat -an | grep -E 「^(tcp)」 | cut -c 68- | sort | uniq -c | sort -n
26 進程總數 ps aux | wc -l
27 查看進程樹 ps aufx
28 可運行進程數目 vmwtat 1 5
29 檢查DNS Server工做是否正常,這裏以61.139.2.69爲例 dig www.baidu.com @61.139.2.69
30 檢查當前登陸的用戶個數 who | wc -l
31 日誌查看、搜索 cat /var/log/rflogview/*errors grep -i error /var/log/messages grep -i fail /var/log/messages tail -f -n 2000 /var/log/messages
32 內核日誌 dmesg
33 時間 date
34 已經打開的句柄數 lsof | wc -l
35 網絡抓包,直接輸出摘要信息到文件。 tcpdump -c 10000 -i eth0 -n dst port 80 > /root/pkts
36 而後檢查IP的重複數 並從小到大排序 注意 「-t\ +0″ 中間是兩個空格,less命令的用法。 less pkts | awk {‘printf $3″\n」‘} | cut -d. -f 1-4 | sort | uniq -c | awk {‘printf $1″ 「$2″\n」‘} | sort -n -t\ +0
37 kudzu查看網卡型號 kudzu –probe –class=network
在Unix/Linux下,高效工做方式不是操做圖形頁面,而是命令行操做,命令行意味着更容易自動化。使用過Linux系統的朋友應該都知道它的命令行強大之處。本文講述了Linux下的查找,刪除,打包,解壓,查詢及VIM等30個經常使用命令技巧
一、Vim自動添加註釋及智能換行
# vi ~/.vimrc
set autoindent
set tabstop=4
set shiftwidth=4
function AddTitle()
call setline(1,"#!/bin/bash")
call append(1,"#====================================================")
call append(2,"# Author: lizhenliang")
call append(3,"# Create Date: " . strftime("%Y-%m-%d"))
call append(4,"# Description: ")
call append(5,"#====================================================")
endf
map <F4> :call AddTitle()<cr>
打開文件後,按F4就會自動添加註釋,省了很多時間!
二、查找並刪除/data這個目錄7天前建立的文件
# find /data -ctime +7 -exec rm -rf {} \;
# find /data -ctime +7 | xargs rm -rf
三、tar命令壓縮排除某個目錄
# tar zcvf data.tar.gz /data --exclude=tmp #--exclude參數爲不包含某個目錄或文件,後面也能夠跟多個
4 查看tar包存檔文件,不解壓
# tar tf data.tar.gz #t是列出存檔文件目錄,f是指定存檔文件
五、使用stat命令查看一個文件的屬性
訪問時間(Access)、修改時間(modify)、狀態改變時間(Change)
stat index.php
Access: 2018-05-10 02:37:44.169014602 -0500
Modify: 2018-05-09 10:53:14.395999032 -0400
Change: 2018-05-09 10:53:38.855999002 -0400
六、批量解壓tar.gz
方法1:
# find . -name "*.tar.gz" -exec tar zxf {} \;
方法2:
# for tar in *.tar.gz; do tar zxvf $tar; done
方法3:
# ls *.tar.gz | xargs -i tar zxvf {}
七、篩除出文件中的註釋和空格
方法1:
# grep -v "^#" httpd.conf |grep -v "^$"
方法2:
# sed -e ‘/^$/d' -e ‘/^#/d' httpd.conf > http.conf
或者
# sed -e '/^#/d;/^$/d' #-e 執行多條sed命令
方法3:
# awk '/^[^#]/|/"^$"' httpd.conf
或者
# awk '!/^#|^$/' httpd.conf
八、篩選/etc/passwd文件中全部的用戶
方法1:
# cat /etc/passwd |cut -d: -f1
方法2:
# awk -F ":" '{print $1}' /etc/passwd
九、iptables網站跳轉
先開啓路由轉發:
echo "1" > /proc/sys/net/ipv4/ip_forward #臨時生效
內網訪問外網(SNAT):
iptables –t nat -A POSTROUTING -s [內網IP或網段] -j SNAT --to [公網IP]
#內網服務器要指向防火牆內網IP爲網關
公網訪問內網(DNAT)(公網端口映射內網端口):
iptables –t nat -A PREROUTING -d [對外IP] -p tcp --dport [對外端口] -j DNAT --to [內網IP:內網端口]
#內網服務器要配置防火牆內網IP爲網關,不然數據包回不來。另外,這裏不用配置SNAT,由於系統服務會根據數據包來源再返回去。
十、iptables將本機80端口轉發到本地8080端口
# iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-ports 8080
十一、find命令查找文件並複製到/opt目錄
方法1:
# find /etc -name httpd.conf -exec cp -rf {} /opt/ \;: #-exec執行後面命令,{}表明前面輸出的結果,\;結束命令
方法2:
# find /etc -name httpd.conf |xargs -i cp {} /opt #-i表示輸出的結果由{}代替
十二、查看根目錄下大於1G的文件
# find / -size +1024M
默認單位是b,可使用其餘單位如,C、K、M
1三、查看服務器IP鏈接數
# netstat -tun | awk '{print $5}' | cut -d: -f1 |sort | uniq -c | sort -n
-tun:-tu是顯示tcp和udp鏈接,n是以IP地址顯示
cut -d:-f1:cut是一個選擇性顯示一行的內容命令,-d指定:爲分隔符,-f1顯示分隔符後的第一個字段。
uniq -c:報告或刪除文中的重複行,-c在輸出行前面加上出現的次數
sort -n:根據不一樣類型進行排序,默認排序是升序,-r參數改成降序,-n是根據數值的大小進行排序
1四、插入一行到391行,包括特殊符號"/"
# sed -i "391 s/^/AddType application\/x-httpd-php .php .html/" httpd.conf
1五、列出nginx日誌訪問最多的10個IP
方法1:
# awk '{print $1}' access.log |sort |uniq -c|sort -nr |head -n 10
sort :排序
uniq -c:合併重複行,並記錄重複次數
sort -nr :按照數字進行降序排序
方法2:
# awk '{a[$1]++}END{for(v in a)print v,a[v] |"sort -k2 -nr |head -10"}' access.log
1六、顯示nginx日誌一天訪問量最多的前10位IP
# awk '$4>="[16/May/2017:00:00:01" && $4<="[16/May/2017:23:59:59"' access_test.log |sort |uniq -c |sort-nr |head -n 10
# awk '$4>="[16/Oct/2017:00:00:01" && $4<="[16/Oct/2017:23:59:59"{a[$1]++}END{for(i in a){print a[i],i|"sort -k1 -nr |head -n 10"}}' access.log
1七、獲取當前時間前一分鐘日誌訪問量
# date=`date +%d/%b/%Y:%H:%M --date="-1 minute"` ; awk -vd=$date '$0~d{c++}END{print c}' access.log
# date=`date +%d/%b/%Y:%H:%M --date="-1 minute"`; awk -vd=$date '$4>="["d":00" && $4<="["d":59"{c++}END{print c}' access.log
# grep `date +%d/%b/%Y:%H:%M --date="-1 minute"` access.log |awk 'END{print NR}'
# start_time=`date +%d/%b/%Y:%H:%M:%S --date="-5 minute"`;end_time=`date +%d/%b/%Y:%H:%M:%S`;awk -vstart_time="[$start_time" -vend_time="[$end_time" '$4>=start_time && $4<=end_time{count++}END{print count}' access.log
1八、找出1-255之間的整數
方法1:
# ifconfig |grep -o '[0-9]\+' #+號匹配前一個字符一次或屢次
方法2:
# ifconfig |egrep -o '\<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>'
1九、找出IP地址
# ifconfig |grep -o '[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}' #-o只顯示匹配字符
20、給文檔增長開頭和結尾說明信息
# awk ‘BEGIN{print "開頭顯示信息"}{print $1,$NF} END{print "結尾顯示信息"}'/etc/passwd
# awk 'BEGIN{printf " date ip\n------------------\n"} {print $3,$4} END{printf "------------------\nend...\n"}' /var/log/messages
date ip
------------------
03:13:01 localhost
10:51:45 localhost
------------------
end...
2一、查看網絡狀態命令
# netstat -antp #查看全部網絡鏈接
# netstat -lntp #只查看監聽的端口信息
# lsof -p pid #查看進程打開的文件句柄
# lsof -i:80 #查看端口被哪一個進程佔用
2二、生成8位隨機字符串
方法1:
# echo $RANDOM |md5sum |cut -c 1-8
方法2:
# openssl rand -base64 4
方法3:
# cat /proc/sys/kernel/random/uuid | cut -c 1-8
2三、while死循環
while true; do #條件精確等於真,也能夠直接用條件[ "1" == "1" ],條件一直爲真
ping -c 2 www.baidu.com
done
24.awk格式化輸出
將文本列進行左對齊或右對齊。
左對齊:
# awk '{printf "%-15s %-10s %-20s\n",$1,$2,$3}' test.txt
右對齊:
# awk '{printf "%15s %10s %20s\n",$1,$2,$3}' test.txt
25.整數運算保留小數點
方法1:
# echo 'scale=2; 10/3;'|bc #scale參數表明取小數點位數
方法2:
# awk BEGIN'{printf "%.2f\n",10/3}'
26.數字求和
# cat a.txt
方法1:
#!/bin/bash
while read num;
do
sum=`expr $sum + $num`
done < a.txt
echo $sum
方法2:
# cat a.txt |awk '{sum+=$1}END{print sum}'
2七、判斷是否爲數字(字符串判斷也如此)
# [[ $num =~ ^[0-9]+$ ]] && echo yes || echo no #[[]]比[]更加通用,支持模式匹配=~和字符串比較使用通配符`
^ $:從開始到結束是數字才知足條件
=~:一個操做符,表示左邊是否知足右邊(做爲一個模式)正則表達式
2八、刪除換行符並將空格替換別的字符
# cat a.txt |xargs echo -n |sed 's/[ ]/|/g' #-n 不換行
# cat a.txt |tr -d '\n' #刪除換行符
2九、查看文本中20至30行內容(總共100行)
方法1:
# awk '{if(NR > 20 && NR < 31) print $0}' test.txt
方法2:
# sed -n '20,30p' test.txt
方法3:
# head -30 test.txt |tail
30、文本中兩列位置替換
# cat a.txt
60.35.1.15 www.baidu.com
45.46.26.85 www.sina.com.cn
# awk '{print $2"\t"$1}' a.txt
head -n 1 filtered_dataset_576.csv|awk -F ',' '{print NF}'
watch -n 1 'ls -l|grep 355'
watch -n 1 'free -h'
free -s 10 -h