shell經常使用腳本（轉）

時間 2019-12-10

標籤 shell 經常使用腳本欄目 Unix 简体版

原文原文鏈接

Menu
一、用shell腳本批量創建Linux用戶
二、編寫shell腳本，將/usr/local/test目錄下大於100k的文件轉移到/tmp目錄下：
三、經過apache訪問日誌access.log 統計IP和每一個地址訪問的次數，按訪問量列出前10名。
四、一臺監控主機，一臺被監控主機。被監控主機分區使用率大於80%，就發告警郵件。放到crontab裏面，每10分鐘執行一次。
五、監控主機的磁盤空間,當使用空間超過90％就經過發mail來發警告
六、自動ftp上傳
七、編寫shell腳本，獲取本機的網絡地址。
八、某系統管理員須要天天作必定的重複工做，編制一個解決方案：
(1)從下午4：50 刪除/abc 目錄下的所有子目錄和所有文件；
(2)從早上8：00～下午6：00 每小時讀取/xyz 目錄下x1 文件中每行第一個域的所有數
據加入到/backup 目錄下的back01.txt 文件內；
(3)每逢週一下午5：50 將/data 目錄下的全部目錄和文件歸檔並壓縮爲文件
backup.tar.gz;
(4)在下午5：55 將IDE 接口的CD－ROM 缷載（假設CD－ROM 的設備名爲hdc）;
(5)在早上8：00 前開機後啓動。
9．設計一個shell程序，添加一個新組爲class1，而後添加屬於這個組的30個用戶，用戶名的形式爲stdxx，其中xx從01到30
10．編寫shell程序，實現自動刪除50個帳號的功能。帳號名爲stud1至stud50。node

Answer:mysql

一、用shell腳本批量創建Linux用戶

實現要求：建立用戶student1到student50,指定組爲student組！並且每一個用戶須要設定一個不一樣的密碼！
腳本實現以下：linux

not this is a testsql

#!/bin/bash
for i in `seq 1 50`
do
    useradd -G student student$i ;
    echo student$i | passwd student$i --stdin;
done

【說明：Linux下 Passwd有參數shell

　　--stdin數據庫

　　This option is used to indicate that passwd should read the new password from standard input, which can be a pipe.apache

　　因此linux下自動改變用戶密碼的辦法就是:vim

　　Echo 密碼 |passwd –stdin 用戶名
】數組

設置相同的密碼

#!/bin/bash
password="123456"
for USER in user1 user2 user3
do
     useradd -m $USER
     echo -e "${password}\n${password}" | passwd $USER
done

【說明：
echo -n 不換行輸出：
$echo -n "123"
$echo "456"bash

最終輸出
123456
而不是
123
456
echo -e 處理特殊字符：
\n 換行且光標移至行首】

ok,就這麼一個簡單的腳本，就能夠再系統裏批量生成帳號了。並且密碼跟帳號的名字同樣。
這就是for do done語句用法。

二、編寫shell腳本，將/usr/local/test目錄下大於100k的文件轉移到/tmp目錄下：

!/bin/bash

for FILE in `ls /usr/local/test`
do
    if [ -f $FILE ] ; then
        if [ `ls -l  $FILE | awk `{print $5}` -gt 100000 ] ; then
            mv $FILE  /tmp/
        fi
    fi
done

================

#!/bin/bash
for FileName in `ls -l  /usr/local/test | awk '$5>102400' {print $9}`
do
        mv $FileName  /tmp/
done
ls -al  /tmp/
echo  "done!"

三、經過apache訪問日誌access.log 統計IP和每一個地址訪問的次數，按訪問量列出前10名。

日誌格式樣例以下：
192.168.1.247 ---【02/jul/2010:23:44:59 + 8080 】 "GET /HTTP/1/1" 200 19

答案：

cat access.log | awk '{print $1}' |sort| uniq -c |sort -rn |head -10

（uniq 參數說明：– c 顯示輸出中，在每行行首加上本行在文件中連續出現的次數。
  sort參數說明：sort默認的排序方式是升序，-r 參數就會改變成倒敘；你有沒有遇到過10比2小的狀況。我反正遇到過。
  出現這種狀況是因爲排序程序將這些數字按字符來排序了，排序程序會先比較1和2，顯然1小，因此就將
  10放在2前面嘍。這也是sort的一向做風。）

四、一臺監控主機，一臺被監控主機。被監控主機分區使用率大於80%，就發告警郵件。放到crontab裏面，每10分鐘執行一次。

a、首先兩臺機器要創建服務器間的信任關係。
b、腳本：

#！/bin/bash

FSMAX="80"
remote_user='root'
remote_ip=(IP地址列表)
ip_num='0'

while [ "$ip_num" -le "$(expr ${#remote_ip[@]} -l)"]
do
read_num='1'
ssh "$remote_user"@"${remote_ip[$ip_num]}"  df -h > /tmp/diskcheck_tmp
grep '^/dev/*'  /tmp/diskcheck_tmp | awk '{print $5}'|sed 's/\%//g'  > /tmp/diskcheck_num_tmp


while [ "$read_num" -le $(wc -l < /tmp/diskcheck_num_tmp) ]
do
size=$(sed -n "$read_num" 'p'  /tmp/diskcheck_num_tmp)

if [ "size" -gt "$FSMAX" ]
then
$(grep '^/dev/*'  /tmp/diskcheck_tmp |sed -n $read_num'p'  > /tmp/disk_check_mail)

$(echo ${remote_ip[$ip_num]}) >> /tmp/disk_check_mail)
$(mail  -s "diskcheck_alert"  admin  <  /tmp/disk_check_mail)
fi

read_num=$(expr  $read_num + 1)

done

ip_num=$(expr  $ip_num + 1)
done

===================寫入crontab=====================
0/10 * * * * /home/diskcheck.sh 2&>1

五、監控主機的磁盤空間,當使用空間超過90％就經過發mail來發警告

#!/bin/bash
#monitor available disk space

#提取本服務器的IP地址信息
IP=`ifconfig eth0 | grep "inet addr" | cut -f 2 -d ":" | cut -f 1 -d " "`
SPACE=` df -hP | awk '{print int($5)}'`
if [ $SPACE -ge 90 ]
then
  echo "$IP 服務器 磁盤空間 使用率已經超過90%，請及時處理。"|mail -s "$IP 服務器硬盤告警"   fty89@163.com
fi

六、自動ftp上傳

#! /bin/bash
    ftp -n << END_FTP
    open 192.168.1.22
    user  test testing      //用戶名test  密碼：testing
    binary
    prompt  off    //關閉提示
    mput   files     //上傳files文件
    close
    bye
    END_FTP

七、編寫shell腳本，獲取本機的網絡地址。好比：本機的ip地址是：

192.168.100.5/255.255.255.0,
那麼他的網絡地址是：
192.168.100.1/255.255.255.0

方法一：

#！/bin/bash
IP=ifconfig eth0|grep 'inet addr'|sed 's/^.*addr://g'|awk  '{print $1}'
NETMASK=ifconfig eth0 |grep "inet addr"|sed 's/^.*Mask://g'

echo "$IP/&NETMASK"
exit

方法二：

#!/bin/bash
 #This script print ip and network
 file="/etc/sysconfig/network-scripts/ifcfg-eth0"
 if [ -f $file ] ;then
     IP=`grep "IPADDR" $file|awk -F"=" '{ print $2 }'`
     MASK=`grep "NETMASK" $file|awk -F"=" '{ print $2 }'`
 echo "$IP/$MASK"
 exit 1
 fi

IP地址也可這樣獲取：

IP=`ifconfig eth0 | grep "inet addr" | cut -f 2 -d ":" | cut -f 1 -d " "

子網掩碼：

NETMASK= `ifconfig eth0 | grep "inet addr"|cut -f 4 -d ":"

八、某系統管理員須要天天作必定的重複工做，編制一個解決方案：

(1)從下午4：50 刪除/abc 目錄下的所有子目錄和所有文件；

(2)從早上8：00～下午6：00 每小時讀取/xyz 目錄下x1 文件中每行第一個域的所有數
據加入到/backup 目錄下的back01.txt 文件內；

(3)每逢週一下午5：50 將/data 目錄下的全部目錄和文件歸檔並壓縮爲文件
backup.tar.gz;

(4)在下午5：55 將IDE 接口的CD－ROM 缷載（假設CD－ROM 的設備名爲hdc）;

(5)在早上8：00 前開機後啓動。

答案：

（a）用vi建立編輯一個名爲prgx的crontab文件；

（b）prgx文件的內容：

50 16 * * * rm -r /abc/*
0 8-18/1 * * * cut -f1 /xyz/x1 >>  /backup/bak01.txt
50 17 * * * tar zcvf backup.tar.gz /data
55 17 * * * umount /dev/hdc

（c）由超級用戶登陸，用crontab執行 prgx文件中的內容：

root@xxx:#crontab prgx；
在每日早晨8:00以前開機後便可自動啓動crontab

9．設計一個shell程序，添加一個新組爲class1，而後添加屬於這個組的30個用戶，用戶名的形式爲stdxx，其中xx從01到30

參考答案：

#!/bin/sh
i=1
groupadd class1

while [ $i -le 30 ]
do
if [ $i -le 9 ] ;then
USERNAME=stu0${i}
else
USERNAME=stu${i}
fi

useradd $USERNAME

mkdir /home/$USERNAME

chown -R $USERNAME /home/$USERNAME

chgrp -R class1 /home/$USERNAME

i=$(($i+1))

done

10．編寫shell程序，實現自動刪除50個帳號的功能。帳號名爲stud1至stud50。

參考程序：

#!/bin/sh

i=1

while [ $i -le 50 ]

do

userdel -r stud${i}

i=$(($i+1 ))

done

11．設計一個shell程序，在每個月第一天備份並壓縮/etc目錄的全部內容，存放在/root/bak目錄裏，且文件名爲以下形式yymmdd_etc，yy爲年，mm爲月，dd爲日。Shell程序fileback存放在/usr/bin目錄下。

參考答案：

（1）編寫shell程序fileback：

#!/bin/sh
DIRNAME=`ls /root | grep bak`
if [ -z "$DIRNAME" ] ; then
mkdir /root/bak
cd /root/bak
fi
BACKETC=$(date +%Y%m%d)_etc.tar.gz
tar zcvf  $BACKETC  /etc
echo "fileback finished!"

（2）編寫任務定時器：

echo "0 0 1 * * /bin/sh /usr/bin/fileback" >; /root/etcbakcron

crontab /root/etcbakcron

或使用crontab -e 命令添加定時任務：

0 1 * * * /bin/sh /usr/bin/fileback

12．有一普通用戶想在每週日凌晨零點零分按期備份/user/backup到/tmp目錄下，該用戶應如何作？

參考答案：

（1）第一種方法：

用戶應使用crontab –e 命令建立crontab文件。
格式以下：

0 0 * * sun cp –r /user/backup /tmp

（2）第二種方法：

用戶先在本身目錄下新建文件file，文件內容以下：

0 * * sun cp –r /user/backup /tmp

而後執行 crontab file 使生效。

13．設計一個Shell程序，在/userdata目錄下創建50個目錄，即user1～user50，並設置每一個目錄的權限，其中其餘用戶的權限爲：讀；文件全部者的權限爲：讀、寫、執行；文件全部者所在組的權限爲：讀、執行。

參考答案:

創建程序 Pro16以下：

#!/bin/sh

i=1

while [ i -le 50 ]

do

if [ -d /userdata ];then

mkdir -p -m 754 /userdata/user$i   加上-m 754 就不用寫下面那一句了  -p 是遞歸創建目錄

#chmod 754 /userdata/user$i

echo "user$i"

let "i = i + 1" （或i=$(($i+1))

else

mkdir /userdata

mkdir -p -m /userdata/user$i

#chmod 754 /userdata/user$i

echo "user$i"

let "i = i + 1" （或i=$（（$i＋1））

fi

done

13.1 mysql備份實例，自動備份mysql，並刪除30天前的備份文件

#!/bin/sh

#auto backup mysql
#wugk  2012-07-14
#PATH DEFINE

BAKDIR=/data/backup/mysql/`date +%Y-%m-%d`
MYSQLDB=www
MYSQLPW=backup
MYSQLUSR=backup

if[ $UID -ne 0 ];then
echo This script must use administrator or root user ,please exit!
sleep 2
exit 0
fi

if[ ! -d $BAKDIR ];then
mkdir -p $BAKDIR
else
echo This is $BAKDIR exists ,please exit ….
sleep 2
exit
fi

###mysqldump backup mysql

/usr/bin/mysqldump -u$MYSQLUSR -p$MYSQLPW -d $MYSQLDB >/data/backup/mysql/`date +%Y-%m-%d`/www_db.sql

cd $BAKDIR ; tar -czf  www_mysql_db.tar.gz *.sql

cd $BAKDIR ;find  . -name 「*.sql」 |xargs rm -rf[ $? -eq 0 ]&&echo 「This `date +%Y-%m-%d` RESIN BACKUP is SUCCESS」

cd /data/backup/mysql/ ;find . -mtime +30 |xargs rm -rf

13.2 批量解壓tar腳本，批量解壓zip而且創建當前目錄

#!/bin/sh
PATH1=/tmp/images
PATH2=/usr/www/images
for i in `ls ${PATH1}/*`
do
tar xvf  $i  -C $PATH2
done

這個腳本是針對全部tar文件在一個目錄，可是實際狀況中，有可能在下級或者更深的目錄，咱們可使用find查找

#!/bin/sh
PATH1=/tmp/images
PATH2=/usr/www/images
for i in `find  $PATH1  -name  「*.tar」 `
do
tar xvf  $i  -C $PATH2
done

若是是zip文件，例如123189.zip 132342.zip 等等批量文件，默認unzip直接解壓不帶自身目錄，意思是解壓123189.zip完當前目錄就是圖片，不能建立123189目錄下並解壓，能夠用shell腳本實現

#!/bin/sh
PATH1=/tmp/images
PATH2=/usr/www/images
cd $PATH1

for i in `find  . -name  」*.zip」|awk  -F.  {print $2} `
do

mkdir -p   PATH2$i

unzip -o  .$i.zip  -d   PATH2$i
done

13.3 14.從1疊加到100

echo $[$(echo +{1..100})]
    echo $[(100+1)*(100/2)]
    seq -s '+' 100 |bc

15.判斷參數是否爲空-空退出並打印null

#!/bin/sh
    echo $1
    name=${1:?"null"}
    echo $name

16.循環數組

for ((i=0;i<${#o[*]};i++))
    do
        echo ${o[$i]}
    done

17. 判斷路徑是否存在

if [ -d /root/desktop/text/123 ];then
        echo "找到了123"
        if [ -d /root/desktop/text ]
        then echo "找到了text"
        else echo "沒找到text"
        fi
else echo "沒找到123文件夾"

fi

18.找出出現次數最多

awk '{print $1}' file|sort |uniq -c|sort -k1r

19. 判斷腳本參數是否正確

./test.sh -p 123 -p 3306 -h 127.0.0.1 -u root

#!/bin/sh
    if [ $# -ne 8 ];then
        echo "usage: $0 -u user -p passwd -p port -h host"
        exit 1
    fi

    while getopts :u:p:p:h: name
    do
        case $name in
        u)
            mysql_user=$optarg
        ;;
        p)
            mysql_passwd=$optarg
        ;;
        p)
            mysql_port=$optarg
        ;;
        h)
            mysql_host=$optarg
        ;;
        *)
            echo "usage: $0 -u user -p passwd -p port -h host"
            exit 1
        ;;
        esac
    done

    if [ -z $mysql_user ] || [ -z $mysql_passwd ] || [ -z $mysql_port ] || [ -z $mysql_host ]
    then
        echo "usage: $0 -u user -p passwd -p port -h host"
        exit 1
    fi

    echo $mysql_user $mysql_passwd $mysql_port  $mysql_host

20.打印表格

#!/bin/sh
    clear
    awk 'begin{
    print "+--------------------+--------------------+";
    printf "|%-20s|%-20s|\n","name","number";
    print "+--------------------+--------------------+";
    }'
    a=`grep "^[a-z]" a.txt |sort +1 -n |awk '{print $1":"$2}'`
    #cat a.txt |sort +1 -n |while read list
    for list in $a
    do
        name=`echo $list |awk -f: '{print $1}'`
        number=`echo $list |awk -f: '{print $2}'`
        awk 'begin{printf "|%-20s|%-20s|\n","'"$name"'","'"$number"'";
        print "+--------------------+--------------------+";
        }'
    done
    awk 'begin{
    print "              *** the end ***              "
    print "                                           "
    }'

21.判斷日期是否合法

#!/bin/sh
    while read a
    do
      if echo $a | grep -q "-" && date -d $a +%y%m%d > /dev/null 2>&1
      then
        if echo $a | grep -e '^[0-9]\{4\}-[01][0-9]-[0-3][0-9]$'
        then
            break
        else
            echo "您輸入的日期不合法，請重新輸入！"
        fi
      else
        echo "您輸入的日期不合法，請重新輸入！"
      fi
    done
    echo "日期爲$a"

22.打印日期段全部日期

#!/bin/bash
    qsrq=20010101
    js rq=20010227
    n=0
    >tmp
    while :;do
    current=$(date +%y%m%d -d"$n day $qsrq")
    if [[ $current == $js rq ]];then
        echo $current >>tmp;break
    else
        echo $current >>tmp
        ((n++))
    fi
    done
    rq=`awk 'nr==1{print}' tmp`

23.打印提示

cat <<eof
        #內容
eof

24. 取用戶的根目錄

#! /bin/bash
    while read name pass uid gid gecos home shell
    do
        echo $home
    done < /etc/passwd

25. 查找連續多行，在不連續的行前插入

#/bin/bash
    lastrow=null
    i=0
    cat incl|while read line
    do
    i=`expr $i + 1`
    if echo "$lastrow" | grep "#include <[a-z].h>"
    then
        if echo "$line" | grep -v  "#include <[a-z].h>"
        then
            sed -i ''$i'i\\/\/all header files are include' incl
            i=`expr $i + 1`
        fi
    fi
    lastrow="$line"
    done

26.查詢其餘數據庫其它引擎

#/bin/bash
    path1=/data/mysql/data/
    dbpasswd=db123
    #myisam或innodb
    engine=innodb

    if [ -d $path1 ];then

    dir=`ls -p $path1 |awk '/\/$/'|awk -f'/' '{print $1}'`
        for db in $dir
        do
        number=`mysql -uroot -p$dbpasswd -a -s "$path1"mysql.sock -e "use ${db};show table status;" |grep -c $engine`
            if [ $number -ne 0 ];then
            echo "${db}"
            fi
        done
    fi

27.批量修改其餘數據庫引擎

#/bin/bash
    for db in test test1 test3
    do
        tables=`mysql -uroot -pdb123 -a -s /data/mysql/data/mysql.sock -e "use $db;show tables;" |awk 'nr != 1{print}'`

        for table in $tables
        do
            mysql -uroot -pdb123 -a -s /data/mysql/data/mysql.sock -e "use $db;alter table $table engine=myisam;"
        done
    done

28.將shell取到的數據插入mysql其餘數據庫

mysql -u$username -p$passwd -h$dbhost -p$dbport -a -e "
    use $dbname;
    insert into data values ('','$ip','$date','$time','$data')
    "

29.兩日期間隔天數

d1=`date -d '20070409' +"%s"`
    d2=`date -d '20070304 ' +"%s"`
    d3=$(($d1 - $d2))
    echo $(($d3/60/60/24))

30. ssh批量執行命令

#版本1
    #!/bin/bash
    while read line
    do
    ip=`echo $line|awk '{print $1}'`
    passwd=`echo $line|awk '{print $2}'`
    ssh -n localhost "cat -"
    sshpass -p "$passwd" ssh -n -t -o stricthostkeychecking=no root@$ip "id"
    done<iplist.txt


#版本2
    #!/bin/bash
    iplist=`awk '{print $1}' iplist.txt`
    for ip in $iplist
    do
    passwd=`awk '/'$ip'/{print $2}' iplist.txt`
    sshpass -p "$passwd" ssh -n -t -o stricthostkeychecking=no root@$ip "id"
    done

31.多進程後臺併發控制

#!/bin/bash
    test () {
        echo $a
        sleep 5
    }
    for a in `seq 1 30`
    do
        test &
        echo $!
        ((num++))
        if [ $num -eq 6 ];then
        echo "wait..."
        wait
        num=0
        fi
    done
    wait

32.恢復rm刪除的文件

debugfs針對 ext2
ext3grep針對 ext3
extundelete針對 ext4

df -t   # 首先查看磁盤分區格式
    umount /data/     # 卸載掛載,數據丟失請首先卸載掛載,或從新掛載只讀
    ext3grep /dev/sdb1 --ls --inode 2         # 記錄信息繼續查找目錄下文件inode信息
    ext3grep /dev/sdb1 --ls --inode 131081    # 此處是inode
    ext3grep /dev/sdb1 --rest ore-inode 49153  # 記錄下inode信息開始恢復目錄