linux文件管理之管道與重定向

時間 2020-06-17

原文原文鏈接

==============================================================

內容提要：
輸入輸出重定向、管道；
重定向的做用；
文件描述符 0 1 2 &>；
輸入輸出重定向實現;
管道 | 基本原理;
匿名管道及命名管道的區別；
管道的應用實戰
==============================================================mysql

本節做業：

1.完成課堂中學習的全部內容

2. 管道及重定向練習
1)統計/usr/bin/目錄下的文件個數；
2)取出當前系統上全部用戶的shell，要求，每種shell只顯示一次，而且按順序進行顯示；
3)思考：如何顯示/var/log目錄下每一個文件的內容類型？
4)取出/etc/inittab文件的第6行；
5)取出/etc/passwd文件中倒數第9個用戶的用戶名和shell，顯示到屏幕上並將其保存至/tmp/users文件中；
6)顯示/etc目錄下全部以pa開頭的文件，並統計其個數；
7)不使用文本編輯器，將alias cls=clear一行內容添加至當前用戶的.bashrc文件中；linux

I/O重定向

I/O Redirection
====================================================================================
標準輸入、標準輸出、標準錯誤
輸出重定向及綜合案例
輸入重定向及結合案例

標準輸入、標準輸出、標準錯誤
$file://C:\Users\anliu\AppData\Local\Temp\ct_tmp/1.png$
file descriptors （FD，文件描述符或 Process I/O channels）：
進程使用文件描述符來管理打開的文件
[root@localhost ~]# ls /proc/$$/fd
0 1 2 3 4

0, 1, and 2, known as standard input, standard output, and standard error

$file://C:\Users\anliu\AppData\Local\Temp\ct_tmp/2.png$

輸出重定向 (覆蓋，追加)
正確輸出： 1> 1>> 等價於 > >>
錯誤輸出： 2> 2>>

案例1：輸出重定向（覆蓋）
[root@localhost ~]# date 1> date.txt
$file://C:\Users\anliu\AppData\Local\Temp\ct_tmp/3.png$
案例2：輸出重定向（追加）
[root@localhost ~]# date >> date.txt
$file://C:\Users\anliu\AppData\Local\Temp\ct_tmp/4.png$

案例3：錯誤輸出重定向
[root@localhost ~]# ls /home/ /aaaaaaaaa >list.txt
ls: 沒法訪問/aaaaaaaaa: 沒有那個文件或目錄
[root@localhost ~]# ls /home/ /aaaaaaaaa >list.txt 2>error.txt //重定向到不一樣的位置
$file://C:\Users\anliu\AppData\Local\Temp\ct_tmp/5.png$

案例4：正確和錯誤都輸入到相同位置
[root@localhost ~]# ls /home/ /aaaaaaaaa &>list.txt //混合輸出
$file://C:\Users\anliu\AppData\Local\Temp\ct_tmp/6.png$
案例5：正確和錯誤都輸入到相同位置
[root@localhost ~]# ls /home/ /aaaaaaaaa >list.txt 2>&1 //重定向到相同的位置
$file://C:\Users\anliu\AppData\Local\Temp\ct_tmp/7.png$
案例6：重定向到空設備/dev/null
[root@localhost ~]# ls /home/ /aaaaaaaaa >list.txt 2>/dev/null //空設備，即將產生的輸出丟掉
[root@localhost ~]# ls /home/ /aaaaaaaaa &>/dev/null //空設備，即將產生的輸出丟掉
$file://C:\Users\anliu\AppData\Local\Temp\ct_tmp/8.png$ sql

cp /etc/passwd /dev/null ???
cp /etc/passwd /etc/passwd1 2>/dev/null ???

sudo rm /dev/null
sudo mknod -m 666 /dev/null c 1 3

$file://C:\Users\anliu\AppData\Local\Temp\ct_tmp/9.png$

案例7：腳本中使用重定向
# vim ping.sh
#!/usr/bin/bash
ping -c1 172.16.120.254 &>/dev/null
if [ $? -eq 0 ];then
echo "up.."
else
echo "down.."
fi
# bash ping.sh

案例8：腳本中使用重定向
# vim ping2.sh
#!/usr/bin/bash
ping -c1 172.16.120.254 &>/dev/null
if [ $? -eq 0 ];then
echo "172.16.120.254 up.." > /up.txt
else
echo "172.16.120.254 down.." >/down.txt
fi
# bash ping2.sh

shell

>new.txt ???
>/etc/passwd ???
>/etc ???

輸入重定向
標準輸入： < 等價 0<
案例1：
[root@localhost ~]# mail -s "ssss" alice //沒有改變輸入的方向，默認鍵盤
111
222
333
^D
[root@localhost ~]# su - alice
[alice@localhost ~]$ mail
Mail version 8.1 6/6/93. Type ? for help.
"/var/spool/mail/alice": 1 message 1 new
>N 1 root@localhost.local Mon Oct 29 14:09 18/657 "ssss"
&

[root@localhost ~]# mail -s "test01" alice < /etc/hosts //輸入重定向，來自於文件

案例2：
[root@localhost ~]# grep 'root' //沒有改變輸入的方向，默認鍵盤，此時等待輸入...
yang sss
sssrootssss..
sssrootssss..

[root@localhost ~]# grep 'root' < /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

案例3：
[root@localhost ~]# dd if=/dev/zero of=/file1.txt bs=1M count=2
[root@localhost ~]# dd </dev/zero >/file2.txt bs=1M count=20

案例4：mysql表結構導入
[root@localhost ~]# mysql -uroot -p123 < bbs.sql

案例5：at
[root@localhost ~]# at now +5 min
at> useradd yang99
at> <EOT>
job 1 at 2015-06-09 11:57

[root@localhost ~]# vim at.txt
useradd yang100
useradd yang102
[root@localhost ~]# at now +2 min < at.txt
job 2 at 2015-06-09 11:55

vim

sudo: sorry, you must have a tty to run sudo
sudo: sorry, you must have a tty to run sudo

綜合案例1: 利用重定向創建多行的文件
[root@localhost ~]# echo "111" > file1.txt
[root@localhost ~]# cat file1.txt
111

[root@localhost ~]# cat >file2.txt
111
222
333
444
^D
[root@localhost ~]# cat file2.txt

centos

請問：file2.txt有幾行？

[root@localhost ~]# cat >>file3.txt
aaa
bbb
ccc
ddd
^D
[root@localhost ~]# cat file3.txt

bash

請問：file3.txt有幾行？

[root@localhost ~]# cat >file4 <<EOF
> 111
> 222
> 333
> EOF
[root@localhost ~]# cat file4
111
222
333

綜合案例2: 腳本中利用重定向打印消息
[root@localhost ~]# vim yang.sh
#!/usr/bin/bash
cat <<-EOF
+------------------------------------------------+
| |
| ====================== |
| 虛擬機基本管理centos |
| by localhost |
| ====================== |
| 1. 安裝虛擬機 |
| 2. 重置全部Linux虛擬機 |
| 3. 重置Windows虛擬機 |
| 4. 重置Windows虛擬機 [徹底] |
| 5. 重置指定的虛擬機 |
| q. 退出管理程序 |
| |
+------------------------------------------------+
EOF

綜合案例3
[root@localhost ~]# ls; date &>/dev/null

[root@localhost ~]# ls &>/dev/null; date &>/dev/null

[root@localhost ~]# (ls; date) &>/dev/null

[root@localhost ~]# (while :; do date; sleep 2; done) &>date.txt

[root@localhost ~]# (while :; do date; sleep 2; done) &>date.txt &
[1] 6595
[root@localhost ~]# tailf date.txt
Tue Apr 12 22:04:32 CST 2016
Tue Apr 12 22:04:34 CST 2016
Tue Apr 12 22:04:36 CST 2016
Tue Apr 12 22:04:38 CST 2016
Tue Apr 12 22:04:40 CST 2016
Tue Apr 12 22:04:42 CST 2016
Tue Apr 12 22:04:44 CST 2016
Tue Apr 12 22:04:46 CST 2016
Tue Apr 12 22:04:48 CST 2016

[root@localhost ~]# jobs
[1]+ Running ( while :; do
date; sleep 2;
done ) &>date.txt &
[root@localhost ~]# kill %1
[root@localhost ~]# jobs

[root@localhost ~]# (./configure && make && make install) &>/dev/null

使用文件描述符重定向
使用文件描述符的重定向都使用了&符號
cmd >&n 把輸出送到文件描述符n
cmd m>&n 把輸出到文件符m的信息重定向到文件描述符n
cmd >&- 關閉標準輸出
cmd <&n 輸入來自文件描述符n
cmd m<&n m來自文件描述符n
cmd <&- 關閉標準輸入
cmd <&n- 移動輸入文件描述符n而非複製它。
cmd >&n- 移動輸出文件描述符 n而非複製它。

2>&1：將stderr重定向到標準輸出

重定向組合使用
cmd 2>file <==>cmd &> file <==>cmd >& file
cmd > file 2>&1
cmd > f1 2>f2
tee files

cmd >/dev/null 2>&1 <==> &> /dev/null

特殊應用：
cat > catfile <<EOF

擴展點：subshell
[root@localhost ~]# (umask 777; touch file8888)
[root@localhost ~]#
[root@localhost ~]# ll file8888
---------- 1 root root 0 Apr 12 22:11 file8888
[root@localhost ~]#
[root@localhost ~]# umask
0022

less

進程管道 Piping

====================================================================================
• Use redirection characters to control output to files.
• Use piping to control output to other programs.

files: > 2> file1.txt /dev/pts/2 /dev/tty1 /dev/null /dev/sda
programs: |

進程管道
用法：command1 | command2 |command3 |...
$file://C:\Users\anliu\AppData\Local\Temp\ct_tmp/1.png$

[root@localhost ~]# ll /dev/ |less
[root@localhost ~]# ps aux |grep 'sshd'
[root@localhost ~]# rpm -qa |grep 'httpd' //查詢全部安裝的軟件包，過濾包含httpd的包
[root@localhost ~]# yum list |grep 'httpd'

案例1：將/etc/passwd中的用戶按UID大小排序
[root@localhost ~]# sort -t":" -k3 -n /etc/passwd //以: 分隔，將第三列按字數升序
[root@localhost ~]# sort -t":" -k3 -n /etc/passwd -r //逆序
[root@localhost ~]# sort -t":" -k3 -n /etc/passwd |head
-t 指定字段分隔符--field-separator
-k 指定列
-n 按數值

案例2：統計出最佔CPU的5個進程
[root@localhost ~]# ps aux --sort=-%cpu |head -6

案例3：統計當前/etc/passwd中用戶使用的shell類型
思路：取出第七列（shell） | 排序（把相同歸類）| 去重
[root@localhost ~]# awk -F: '{print $7}' /etc/passwd
[root@localhost ~]# awk -F: '{print $7}' /etc/passwd |sort
[root@localhost ~]# awk -F: '{print $7}' /etc/passwd |sort |uniq
[root@localhost ~]# awk -F: '{print $7}' /etc/passwd |sort |uniq -c
131 /bin/bash
1 /bin/sync
1 /sbin/halt
63 /sbin/nologin
1 /sbin/shutdown
-F: 指定字段分隔符
$7 第七個字段

案例4：統計網站的訪問狀況 top 20
思路：打印全部訪問的鏈接 | 過濾訪問網站的鏈接 | 打印用戶的IP | 排序 | 去重
[root@localhost ~]# ss -an |grep :80 |awk -F":" '{print $8}' |sort |uniq -c
4334 192.168.0.66
1338 192.168.10.11
1482 192.168.10.125
44 192.168.10.183
3035 192.168.10.213
375 192.168.10.35
362 192.168.10.39
[root@localhost ~]# ss -an |grep :80 |awk -F":" '{print $8}' |sort |uniq -c |sort -k1 -rn |head -n 20

案例5：打印當前全部IP
[root@localhost ~]# ip addr |grep 'inet ' |awk '{print $2}' |awk -F"/" '{print $1}'
127.0.0.1
192.168.2.115

案例6：打印根分區已用空間的百分比（僅打印數字）
[root@localhost ~]# df -P |grep '/$' |awk '{print $5}' |awk -F"%" '{print $1}'

tee管道
$file://C:\Users\anliu\AppData\Local\Temp\ct_tmp/2.png$
[root@localhost ~]# ip addr |grep 'inet ' |tee ip.txt |awk -F"/" '{print $1}' |awk '{print $2}'
127.0.0.1
172.16.60.1
[root@localhost ~]# cat ip.txt
inet 127.0.0.1/8 scope host lo
inet 172.16.60.1/24 brd 172.16.60.255 scope global eth0

[root@localhost ~]# ip addr |grep 'inet ' |tee -a ip.txt |awk -F"/" '{print $1}' |awk '{print $2}'
127.0.0.1
172.16.60.1

[root@localhost ~]# date |tee date.txt
Sat Mar 11 10:22:31 CST 2017

注意：
一、管道命令只處理前一個命令正確輸出，不處理錯誤輸出。
二、管道命令右邊命令，必須可以接收標準輸入流命令才行。

ssh

做業：
1. 瞭解匿名管道和命名管道的區別？

匿名管道由pipe函數建立並打開。
命名管道由mkfifo函數建立，打開用open
FIFO（命名管道）與pipe（匿名管道）之間惟一的區別在它們建立與打開的方式不一樣，一量這些工做完成以後，它們具備相同的語義。編輯器

2. 如何建立命名管道？

在Linux系統下，命名管道可由兩種方式建立（假設建立一個名爲「fifoexample」的有名管道）：
（1）mkfifo("fifoexample","rw");
（2）mknod fifoexample p
mkfifo是一個函數，mknod是一個系統調用

點擊這裏	點擊這裏
通配符	含義
*	匹配零個或多個字符。
?	匹配任意單個字符。
[0-9]	匹配範圍內的數字。
[abc]	匹配已出的任意字符。

查看sda開頭的全部設備文件：
[root@linuxprobe ~]# ls /dev/sda*
/dev/sda /dev/sda1 /dev/sda2
查看sda後面有一個字符的設備文件：
[root@linuxprobe ~]# ls /dev/sda?
/dev/sda1 /dev/sda2
查看sda後面包含0-9數字的設備文件：
[root@linuxprobe ~]# ls /dev/sda[0-9]
/dev/sda1 /dev/sda2
查看sda後面是1或3或5的設備文件：
[root@linuxprobe ~]# ls /dev/sda[135]
/dev/sda1
另外bash解釋器還支持不少的特殊字符擴展：

點擊這裏	點擊這裏
字符	做用
\(反斜槓)	轉義後面單個字符
''(單引號)	轉義全部的字符
""(雙引號)	變量依然生效
``(反引號)	執行命令語句

PATH變量

alias命令用於設置命令的別名，格式爲：「alias 別名=命令」。
例如擔憂複製文件時誤將文件覆蓋，那麼執行alias cp=」cp -i」則每次覆蓋都會詢問用戶。
unalias命令用於取消命令的別名，格式爲：「unalias 別名」。

當用戶執行了一條」ls「命令後發生了什麼事情？
步驟一:若是是以絕對/相對路徑輸入的命令則直接執行（如執行/bin/ls）。
步驟二:檢查是否爲alias別名命令。
步驟三:由bash判斷其是「內部命令」仍是「外部命令」。
內部命令：屬於解釋器內部的
外部命令：獨立於解釋器外的命令文件
步驟四：經過$PATH變量中定義的路徑進行命令查找。

查看$PATH變量的方法:echo $PATH$PATH變量是「解釋器的助手」，它負責告訴bash用戶要執行的命令可能存放在那裏，而後bash就會在這些目錄裏尋找。