linux 系統管理實戰技巧

時間 2019-12-12

原文原文鏈接

1、這篇文章講了什麼？php

　　這篇文章頗有參考性哈。原本是想等一段時間有更多條技巧後在發佈的，不過，忽然發現，我是去年的今天在博客園落戶了，祝個人博客一週歲快樂，但願之後多分享一些文章啦。因此就把草稿箱的其中一篇很實用性的linux小技巧分享給運維的基友們。後續該篇文章會一直更新新技巧喲。感謝童鞋們的關注哈。css

2、乾貨開始啦！html

1.查看端口監聽node

[root@opm ~]# netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a,S[a]}'
CLOSE_WAIT 4
ESTABLISHED 343

2.查看端口監聽狀態統計python

[root@Master ~]# netstat -aultn | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a,S[a]}'
TIME_WAIT 28253
ESTABLISHED 15
LISTEN 13

能夠看出當前系統有28253的端口在使用，mysql

3.優化以上內核參數方式：linux

編輯/etc/sysctl.conf
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30

修改完成後，sysctl -p 當即生效nginx

4.修改流量大的web 服務器上，優化內核參數web

net.ipv4.tcp_keepalive_time = 1200
net.ipv4.ip_local_port_range = 10000 65000
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000
#這幾個參數，建議只在流量很是大的服務器上開啓，會有顯著的效果。通常的流量小的服務器上，沒有必要去設置這幾個參數。

5.查看linux 系統默認網關sql

ip route show | grep 'default' | awk '{print $3}'

6.過濾文件中的註釋以及空格開頭

egrep -v '^$|^#' /etc/rsyslog.conf

7.如何清空/刪除 last記錄

#清空最後登陸
echo >/var/log/wtmp
#清空歷史紀錄
echo > ./.bash_history

#在空格後輸入命令，不記錄到歷史命令中，先輸入到環境變量中
export HISTCONTROL=ignorespace

8.mysql密碼忘記了，咋辦？

vi /etc/my.cnf 添加下面一句話
[mysqld]
skip-grant-tables
重啓mysqld。
以後登錄mysql系統，修改root 的密碼
USE mysql;
UPDATE user SET Password = password ( 'new-password' ) WHERE User = 'root' ;
flush privileges
以上就能夠了。

9.利用tcpdump 監控某個接口上的端口，如80 端口，-i 後跟網絡接口，centos6上是eth0。-c 是抓的包數目

[root@web ~]# tcpdump -i eno16777984 'port 80' -c 8
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eno16777984, link-type EN10MB (Ethernet), capture size 65535 bytes
23:41:42.142270 IP 192.168.30.65.27342 > web.ichunqiu.com.http: Flags [S], seq 779859144, win 8192, options [mss 1460,nop,wscale 8,nop,nop,sackOK], length 0
23:41:42.142360 IP web.ichunqiu.com.http > 192.168.30.65.27342: Flags [S.], seq 1569747590, ack 779859145, win 29200, options [mss 1460,nop,nop,sackOK,nop,wscale 7], length 0
23:41:42.142677 IP 192.168.30.65.27342 > web.ichunqiu.com.http: Flags [.], ack 1, win 256, length 0
23:41:42.142722 IP 192.168.30.65.27343 > web.ichunqiu.com.http: Flags [S], seq 2277286734, win 8192, options [mss 1460,nop,wscale 8,nop,nop,sackOK], length 0
23:41:42.142759 IP web.ichunqiu.com.http > 192.168.30.65.27343: Flags [S.], seq 3574925053, ack 2277286735, win 29200, options [mss 1460,nop,nop,sackOK,nop,wscale 7], length 0
23:41:42.143280 IP 192.168.30.65.27344 > web.ichunqiu.com.http: Flags [S], seq 2564439030, win 8192, options [mss 1460,nop,wscale 8,nop,nop,sackOK], length 0
23:41:42.143317 IP web.ichunqiu.com.http > 192.168.30.65.27344: Flags [S.], seq 4279749150, ack 2564439031, win 29200, options [mss 1460,nop,nop,sackOK,nop,wscale 7], length 0
23:41:42.143346 IP 192.168.30.65.27343 > web.ichunqiu.com.http: Flags [.], ack 1, win 256, length 0
8 packets captured
23 packets received by filter
0 packets dropped by kernel

10.統計web服務器站點的日誌，如apache 的access.log日誌

統計訪問者的ip數目

[root@elk ~]# awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -n 25
   5568 124.126.211.201
   5247 123.125.2.108
   4085 139.59.253.208

利用系統自帶geoiplookup查看訪問者的ip歸屬地（注：須要在本機先安裝GeoIP軟件）以下：

安裝geoip軟件
[root@elk nginx]# yum install GeoIP -y

查詢ip歸屬地
[root@elk nginx]# cat access.log-20160903 | awk '{ print $1 }' | sort | uniq -c | sort -rn | head -n 25 | \
awk '{ printf("%5d\t%-15s\t", $1, $2); system("geoiplookup " $2 " | cut -d \\: -f2 ") }'
 5568    124.126.211.201     CN, China
 5337    123.125.2.108       CN, China
 4085    139.59.253.208      AU, Australia
 1543    223.223.181.131     CN, China
   80    93.174.93.99        NL, Netherlands
   42    121.43.61.205       CN, China
   26    36.110.44.114       CN, China
   26    183.6.143.154       CN, China
   25    116.226.39.94       CN, China
   24    111.207.81.199      CN, China
   24    106.81.231.217      CN, China
   18    36.44.56.82         CN, China
   18    112.80.61.114       CN, China
   11    220.181.132.219     CN, China
    5    61.141.94.68        CN, China
    5    171.8.167.69        CN, China
    4    101.226.33.240      CN, China
    3    180.153.212.13      CN, China
    3    180.153.206.20      CN, China
    3    171.8.167.68        CN, China
    3    101.226.89.119      CN, China
    3    101.226.33.226      CN, China
    3    101.226.102.97      CN, China
    2    27.221.19.18        CN, China

查看訪問者404 錯誤頁面的請求次數以及請求頁面，並按降序排列

[root@elk nginx]# cat /var/log/nginx/access.log | awk '($9 ~ /404/)' | awk '{ print $7 }' | sort | uniq -c | sort -rn | head -n 25

查看訪問者使用的User-Agent，並統計排序

[root@elk nginx]# cat /var/log/nginx/access.log | awk -F\" '{ print $6 }' | sort | uniq -c |sort -frn | head -n 25

統計web服務器的 UV 量

[root@elk nginx]# cat /var/log/nginx/access.log | awk '{ print $1 }' | sort | uniq -c | wc -l
122

統計當天的uv訪問量

[root@elk nginx]# cat /var/log/nginx/access.log | grep `date '+%d/%b/%G'` | awk '{ print $1 }' | sort | uniq -c | wc -l
10

統計當月的uv訪問量

[root@elk nginx]# cat access.log | grep `date '+%b/%G'` | awk '{ print $1 }' | sort | uniq -c | wc -l
111

根據返回的響應碼進行排序

[root@elk nginx]# cat /var/log/nginx/access.log | awk '{ print $9 }' | sort | uniq -c | sort -rn
   8973 200
   7304 401
    720 304
     79 404
     49 400
     10 502
     10 "-"
      7 201
      4 499
      4 409
      4 173
      1 405

快速列出點擊量最多的請求頁面

[root@elk nginx]# cat /var/log/nginx/access.log | awk '{ print $7 }' | sort | uniq -c | sort -rn | head -n 25
   4015 /elasticsearch/packetbeat-*/_field_stats?level=indices
   3581 /favicon.ico
   2117 /bundles/src/ui/public/images/elk.ico
    799 /
    340 /elasticsearch/logstash-*/_field_stats?level=indices
    225 /elasticsearch/.kibana/_refresh
    171 /app/kibana
    167 /elasticsearch/_msearch?timeout=0&ignore_unavailable=true&preference=1472786252222
    153 /elasticsearch/_msearch?timeout=0&ignore_unavailable=true&preference=1472784429830
    144 /elasticsearch/_mget?timeout=0&ignore_unavailable=true&preference=1472746017033
    139 /elasticsearch/.kibana/index-pattern/_search?fields=
    132 /bundles/src/ui/public/images/kibana.svg
    130 /bundles/kibana.bundle.js?v=10000
    129 /bundles/node_modules/font-awesome/fonts/fontawesome-webfont.woff2
    128 /bundles/commons.style.css?v=10000
    128 /bundles/commons.bundle.js?v=10000
    121 /bundles/kibana.style.css?v=10000
    107 /elasticsearch/topbeat-*/_field_stats?level=indices
     97 /elasticsearch/_mget?timeout=0&ignore_unavailable=true&preference=1472744909049
     97 /elasticsearch/.kibana/visualization/_search?size=100
     75 /elasticsearch/_mget?timeout=0&ignore_unavailable=true&preference=1472749929499
     72 /elasticsearch/_mget?timeout=0&ignore_unavailable=true&preference=1472750405461
     66 /elasticsearch/_mget?timeout=0&ignore_unavailable=true&preference=1472750160122
     66 /elasticsearch/.kibana/dashboard/_search?size=100
     62 /elasticsearch/_mget?timeout=0&ignore_unavailable=true&preference=1472743171471

實時的查看請求者ip、http方法、響應碼、請求的頁面

[root@elk nginx]# tailf /var/log/nginx/access.log | awk '{ printf("%-15s\t%s\t%s\t%s\n", $1, $6, $9,$7) }'
60.191.52.254      "HEAD    401    http://115.236.176.134:3434/
141.212.122.160    "GET    401    /
101.200.215.149    "GET    401    /manager/html
114.44.57.4        "CONNECT    400    126mx01.mxmail.netease.com:25
187.160.7.218      "GET    401    /cgi/common.cgi
187.160.7.218      "GET    401    /stssys.htm
187.160.7.218      "GET    401    /
187.160.7.218      "POST    401    /command.php
218.75.70.3        "GET    401    /
163.172.173.181    "GET    401    http://www.baidu.com/cache/global/img/gs.gif
123.125.2.108      "GET    200    /
123.125.2.108      "GET    200    /app/kibana
123.125.2.108      "GET    304    /bundles/commons.style.css?v=10000

跟上面的相似，只是在第四個字段加了個GeoIP解析歸屬地，以下:

[root@elk nginx]# tailf /var/log/nginx/access.log | awk '{
    "geoiplookup " $1 " | cut -d \\: -f2 " | getline geo
    printf("%-15s\t%s\t%s\t%-20s\t%s\n", $1, $6, $9, geo, $7);}'
123.125.2.108      "GET    304     CN, China              /bundles/src/ui/public/images/kibana.svg
123.125.2.108      "POST    200     CN, China              /elasticsearch/_mget?timeout=0&ignore_unavailable=true&preference=1472922034187
123.125.2.108      "POST    200     CN, China              /elasticsearch/.kibana/index-pattern/_search?fields=
123.125.2.108      "GET    200     CN, China              /elasticsearch/.kibana/_mapping/*/field/_source?_=1472922034556
123.125.2.108      "POST    200     CN, China              /elasticsearch/_mget?timeout=0&ignore_unavailable=true&preference=1472922034187
123.125.2.108      "GET    304     CN, China              /bundles/node_modules/font-awesome/fonts/fontawesome-webfont.woff2

顯示非法代理的訪問者

[root@elk nginx]# awk -F\" '($6 ~ /^-?$/)' /var/log/nginx/access.log | awk '{ print $1 }' | sort | uniq
114.44.57.4
183.129.160.229
218.75.70.3
61.231.3.98

11.linux中利用python開啓臨時的web下載服務，訪問端口是88，http://ip:88/，端口能夠自定義其它的，避免與系統其它的衝突

[root@web ~]# python -m SimpleHTTPServer 88

Serving HTTP on 0.0.0.0 port 88 ...

12.vim 複製多行內容

:1,10 co 10
意思是複製第1行到10行之間的內容到第10行後面。

:1,-1 co 10
意思是複製第1行到文件最後一行之間的內容到第10行後面。

13.快速刪除文件內每行中的的空格
　　刪除行首的空格

[root@hcloud webtest]# sed -i 's/^[ \t]*//g' filename

　　刪除行尾的空格

[root@hcloud webtest]# sed -i 's/[ \t]*$//g' filename

14.windows 編寫的腳本到linux 上運行，編碼錯誤解決方法：

:set ff=unix
:wq

15.yum 安裝軟件時，出現如下提示：

Resolving Dependencies
There are unfinished transactions remaining. You might consider running yum-complete-transaction first to finish them.

　　解決方法：

[root@test ]# yum-complete-transaction

16.用grep 過濾文件中的空行已經#註釋，並將顯示出來的內容標上行號

grep -Ev  '^$|^#' hosts >test.txt && cat -n test.txt && rm -f test.txt

17.假如server的某個進程的日誌因爲訪問量或者其它錯誤bug致使日誌大小暴增，且該日誌分區空間即將不足，須要在線清空該日誌（清理前先備份）

　　解決方法，有如下幾種：

　　1）

cat /dev/null > logfile

　　2）

dd if=/dev/null of=logfile

　　3）

rm logfile

18.利用linux 自帶工具實時檢測網卡流量

　　1）ifconfig

[root@zabbix-6 ~]# watch -d ifconfig eth0

　　2）/proc/net/dev

[root@zabbix-6 ~]# watch -d cat /proc/net/dev

19.模擬cpu升高（可後臺運行n次，每一個進程的使用率*n 就是總的cpu利用率）

dd if=/dev/zero of=/dev/null

　　2）

fulload() { dd if=/dev/zero of=/dev/null | dd if=/dev/zero of=/dev/null | dd if=/dev/zero of=/dev/null | dd if=/dev/zero of=/dev/null & }; fulload; read; killall dd

yes > /dev/null &

　　4) 哈哈，這個慎用。。。。。！！！！

:(){ :|:& };:

20. 查看瀏覽器內部的緩存，谷歌爲例，瀏覽器內輸入如下內容：

chrome://net-internals/#dns

21. 使用awk 作百分比計算（用-v 鏈接外部變量）

以下圖：

[root@docker ~]# awk -v a=$a -v b=$b -v c=$c 'BEGIN{printf "%2.f%\n",((a - b) / c) * c}'

22. 將查看man手冊時的終端設置爲有顏色高亮的，添加以下：

修改/root/.bashrc 文件，添加到文末

# Set have color's terminal
export LESS_TERMCAP_mb=$'\E[01;31m'       # begin blinking
export LESS_TERMCAP_md=$'\E[01;38;5;74m'  # begin bold
export LESS_TERMCAP_me=$'\E[0m'           # end mode
export LESS_TERMCAP_se=$'\E[0m'           # end standout-mode
export LESS_TERMCAP_so=$'\E[38;5;246m'    # begin standout-mode - info box
export LESS_TERMCAP_ue=$'\E[0m'           # end underline
export LESS_TERMCAP_us=$'\E[04;38;5;146m' # begin underline

23.斷點續傳下載文件

使用wget 下載文件,-c 斷點續傳

wget -c http://www.niu.com/filename

使用rsync 走ssh 協議拷貝文件， -e 參數，是指定遠程ssh 的服務端口爲8080

rsync -azP -e "ssh -p 8080" root@10.10.0.88:/root/4-21/* ./

24.修改ulimit 文件大小，而且加入/etc/profile最後一行中，已經看到生效了，可是scp 傳輸給服務器時，文件依舊會中斷

ulimit -f unlimited

後來以爲是ssh的問題，由於scp 依靠的是ssh 協議，因此重啓了服務器上的ssh 服務。從客戶端上繼續上傳文件成功。因此應該在不重啓主機的狀況下，只要重啓相關使用的程序便可

service sshd restart

25.批量修改數據庫中的ip記錄成統一格式，以下所示

在庫裏，有一批服務器須要修改ip子網網段地址，如原來都是192.168.10.x, 如今要統一修改爲10.10.0.0，那麼可使用該sql 語句

MariaDB [cloud]> update d_host set HostIP=concat('10.10.0',substring(hostip,10));

26.xargs 的通常使用技巧

處理每行顯示的單詞數量，以下：沒有使用xargs處理的方式：

[root@docker test]# ls *.html
baaiqzryca_oldboy.html  fhqvkawqgv_oldboy.html  mdxppexnhr_oldboy.html  ozkqzhpcof_oldboy.html  xkkclfmfsx_oldboy.html
eqxvzmbthe_oldboy.html  hckcitirol_oldboy.html  okpolqsrlz_oldboy.html  vhktzmneui_oldboy.html  yytrltjhjy_oldboy.html

使用xargs 加 -n number 處理的方式,以下：

[root@docker test]# ls *.html | xargs -n 2
baaiqzryca_oldboy.html eqxvzmbthe_oldboy.html
fhqvkawqgv_oldboy.html hckcitirol_oldboy.html
mdxppexnhr_oldboy.html okpolqsrlz_oldboy.html
ozkqzhpcof_oldboy.html vhktzmneui_oldboy.html
xkkclfmfsx_oldboy.html yytrltjhjy_oldboy.html

[root@docker test]# ls *.html | xargs -n 1
baaiqzryca_oldboy.html
eqxvzmbthe_oldboy.html
fhqvkawqgv_oldboy.html
hckcitirol_oldboy.html
mdxppexnhr_oldboy.html
okpolqsrlz_oldboy.html
ozkqzhpcof_oldboy.html
vhktzmneui_oldboy.html
xkkclfmfsx_oldboy.html
yytrltjhjy_oldboy.html

還有一個功能，是xargs 的 -I {} 參數將管道前的標準輸出，傳遞給xargs參數，後面能夠把 {}看成參數傳遞給它其它命令，以下：

[root@docker test]# ls *.html | xargs -I {} cp {} /tmp/test2/.

上面的意思就是將當前目錄全部以.html 結尾的文件，cp到 /tmp/test2目錄下。（備註：這個目的用xargs 有點畫蛇添足啦，直接cp *.html dest 也是能夠的）

27.curl 構造參數，傳參，提交請求

curl -d 'Key=xxx&phone=xxx&sms=xxx' -X POST -v api接口地址

28.如何殺死殭屍進程 Z

找出該Z進程的父進程，進而殺死

kill $(ps -A -ostat,ppid | awk '/[zZ]/{print $2}')

孤兒進程：一個父進程退出，而它的一個或多個子進程還在運行，那麼那些子進程將成爲孤兒進程。孤兒進程將被init進程(進程號爲1)所收養，並由init進程對它們完成狀態收集工做。

殭屍進程：一個進程使用fork建立子進程，若是子進程退出，而父進程並無調用wait或waitpid獲取子進程的狀態信息，那麼子進程的進程描述符仍然保存在系統中。這種進程稱之爲僵死進程。詳細參考內容

29.永遠的擦除硬盤數據，比rm更危險，謹慎操做

[root@node-2 ~]# shred --help
Usage: shred [OPTION]... FILE...
Overwrite the specified FILE(s) repeatedly, in order to make it harder
for even very expensive hardware probing to recover the data.

Mandatory arguments to long options are mandatory for short options too.
  -f, --force    change permissions to allow writing if necessary
  -n, --iterations=N  overwrite N times instead of the default (3)
      --random-source=FILE  get random bytes from FILE
  -s, --size=N   shred this many bytes (suffixes like K, M, G accepted)
  -u, --remove   truncate and remove file after overwriting
  -v, --verbose  show progress
  -x, --exact    do not round file sizes up to the next full block;
                   this is the default for non-regular files
  -z, --zero     add a final overwrite with zeros to hide shredding
      --help     display this help and exit
      --version  output version information and exit

If FILE is -, shred standard output.

Delete FILE(s) if --remove (-u) is specified.  The default is not to remove
the files because it is common to operate on device files like /dev/hda,
and those files usually should not be removed.  When operating on regular
files, most people use the --remove option.

CAUTION: Note that shred relies on a very important assumption:
that the file system overwrites data in place.  This is the traditional
way to do things, but many modern file system designs do not satisfy this
assumption.  The following are examples of file systems on which shred is
not effective, or is not guaranteed to be effective in all file system modes:

* log-structured or journaled file systems, such as those supplied with
AIX and Solaris (and JFS, ReiserFS, XFS, Ext3, etc.)

* file systems that write redundant data and carry on even if some writes
fail, such as RAID-based file systems

* file systems that make snapshots, such as Network Appliance's NFS server

* file systems that cache in temporary locations, such as NFS
version 3 clients

* compressed file systems

In the case of ext3 file systems, the above disclaimer applies
(and shred is thus of limited effectiveness) only in data=journal mode,
which journals file data in addition to just metadata.  In both the
data=ordered (default) and data=writeback modes, shred works as usual.
Ext3 journaling modes can be changed by adding the data=something option
to the mount options for a particular file system in the /etc/fstab file,
as documented in the mount man page (man mount).

In addition, file system backups and remote mirrors may contain copies
of the file that cannot be removed, and that will allow a shredded file
to be recovered later.

Report shred bugs to bug-coreutils@gnu.org
GNU coreutils home page: <http://www.gnu.org/software/coreutils/>
General help using GNU software: <http://www.gnu.org/gethelp/>
For complete documentation, run: info coreutils 'shred invocation'

View Code

30.過濾ip 地址的通用方法

echo My ip address is 192.168.8.88 | grep -E -o "\b([0-9]{1,3}\.){3}[0-9]{1,3}\b"

或

echo My ip address is 192.168.8.88 | egrep -o "\b([0-9]{1,3}\.){3}[0-9]{1,3}\b"

40.在mysql 中，爲用戶修改遠程受權

MariaDB [(none)]> update mysql.user set Host='%' where Host='::1'

更新歷史：

2017/06/01: 更新curl構造參數、如何殺死殭屍進程；

注意：該文章屬於做者原創，若有轉載或者分享，請註明出處以及該文章連接：http://www.cnblogs.com/hanyifeng/p/5440274.html

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。

linux 系統管理 實戰技巧

linux 系統管理實戰技巧