高併發 內核優化

sysctl -a  查看內核配置

1)優化Linux文件打開最大數：
vi /etc/security/limits.conf
* soft noproc 60000
* hard noproc 65535
* soft nofile 65535
* hard nofile 65535
爲了防止失控的進程破壞系統的性能,Unix和Linux跟蹤進程使用的大部分資源，容許用戶和系統管理員使用對進程的資源限制,設置的限制有兩種： 硬限制和軟限制:
hard硬限制是能夠在任什麼時候候任何進程中設置 但硬限制只能由超級用戶修改。
soft軟限制是內核實際執行的限制，任何進程均可以將軟限制設置爲任意小於等於對進程限制的硬限制的值，(noproc)最大線程數和(nofile)文件數。

2)內核參數的優化

vi /etc/sysctl.conf
net.ipv4.tcp_max_tw_buckets = 6000
timewait的數量，默認是180000。
net.ipv4.ip_local_port_range = 1024 65000  #關係到最大timewait數 端口範圍是一個閉區間，因此實際可用的端口數量是65000-1024+1
容許系統打開的端口範圍。
net.ipv4.tcp_tw_recycle = 1    #官方建議不開啓此項，若是開啓此項，必需要將訪問此臺機器的net.ipv4.tcp_timestamps關閉。http://blog.sina.com.cn/s/blog_781b0c850100znjd.html

啓用timewait快速回收。
net.ipv4.tcp_tw_reuse = 1
開啓重用。容許將TIME-WAIT sockets從新用於新的TCP鏈接。
net.ipv4.tcp_syncookies = 1
開啓SYN Cookies，當出現SYN等待隊列溢出時，啓用cookies來處理。
net.core.somaxconn = 262144
web應用中listen函數的backlog默認會給咱們內核參數的net.core.somaxconn限制到128，而nginx定義的NGX_LISTEN_BACKLOG默認爲511，因此有必要調整這個值。
net.core.netdev_max_backlog = 262144
每一個網絡接口接收數據包的速率比內核處理這些包的速率快時，容許送到隊列的數據包的最大數目。
net.ipv4.tcp_max_orphans = 262144
系統中最多有多少個TCP套接字不被關聯到任何一個用戶文件句柄上。若是超過這個數字，孤兒鏈接將即刻被複位並打印出警告信息。這個限制僅僅是爲了防止簡單的DoS攻擊，不能過度依靠它或者人爲地減少這個值，更應該增長這個值(若是增長了內存以後)。
net.ipv4.tcp_max_syn_backlog = 262144
記錄的那些還沒有收到客戶端確認信息的鏈接請求的最大值。對於有128M內存的系統而言，缺省值是1024，小內存的系統則是128。
net.ipv4.tcp_timestamps = 0  #注意這個開啓會與net.ipv4.tcp_tw_recycle衝突（臨時關閉echo  0 > /proc/sys/net/ipv4/tcp_timestamps）。案例可參考http://www.bubuko.com/infodetail-1650846.html 
時間戳能夠避免序列號的卷繞。一個1Gbps的鏈路確定會遇到之前用過的序列號。時間戳可以讓內核接受這種「異常」的數據包。這裏須要將其關掉 。
net.ipv4.tcp_synack_retries = 1
爲了打開對端的鏈接，內核須要發送一個SYN並附帶一個迴應前面一個SYN的ACK。也就是所謂三次握手中的第二次握手。這個設置決定了內核放棄鏈接以前發送SYN+ACK包的數量。
net.ipv4.tcp_syn_retries = 1
在內核放棄創建鏈接以前發送SYN包的數量。
net.ipv4.tcp_fin_timeout = 1
若是套接字由本端要求關閉，這個參數決定了它保持在FIN-WAIT-2狀態的時間。對端能夠出錯並永遠不關閉鏈接，甚至意外當機。缺省值是60秒。2.2 內核的一般值是180秒，你能夠按這個設置，但要記住的是，即便你的機器是一個輕載的WEB服務器，也有由於大量的死套接字而內存溢出的風險，FIN- WAIT-2的危險性比FIN-WAIT-1要小，由於它最多隻能吃掉1.5K內存，可是它們的生存期長些。
net.ipv4.tcp_keepalive_time = 30
當keepalive起用的時候，TCP發送keepalive消息的頻度。缺省是2小時。

net.ipv4.tcp_rmem 和 net.ipv4.tcp_wmem
爲每一個TCP鏈接分配的讀、寫緩衝區內存大小，單位是Byte
net.ipv4.tcp_rmem = 4096 8192 4194304
net.ipv4.tcp_wmem = 4096 8192 4194304
第一個數字表示，爲TCP鏈接分配的最小內存
第二個數字表示，爲TCP鏈接分配的缺省內存
第三個數字表示，爲TCP鏈接分配的最大內存
通常按照缺省值分配，上面的例子就是讀寫均爲8KB，共16KB
.6GB TCP內存能容納的鏈接數，約爲 1600MB/16KB = 100K = 1  

參考 http://www.javashuo.com/article/p-pfcwuqmw-kr.html

完整的內核優化腳本：
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.ipv4.tcp_max_tw_buckets = 10000
net.ipv4.tcp_sack = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_rmem = 4096 87380 4194304
net.ipv4.tcp_wmem = 4096 16384 4194304
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.netdev_max_backlog = 262144
net.core.somaxconn = 262144
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_fin_timeout = 1
net.ipv4.tcp_keepalive_time = 30
net.ipv4.ip_local_port_range = 1024 65530
net.ipv4.icmp_echo_ignore_all = 1

微

 

 

注 

配置完 需sysctl -p 從新加載下

3)常見內核報錯解析
net.ipv4.tcp_max_tw_buckets錯誤：
Sep 23 04:45:54 localhost kernel: possible SYN flooding on port 80. Sending cookies.
Sep 23 04:45:55 localhost kernel: TCP: time wait bucket table overflow
Sep 23 04:45:55 localhost kernel: TCP: time wait bucket table overflow
Sep 23 04:45:55 localhost kernel: TCP: time wait bucket table overflow
Sep 23 04:45:55 localhost kernel: TCP: time wait bucket table overflow
Sep 23 04:45:55 localhost kernel: TCP: time wait bucket table overflow
Sep 23 04:45:55 localhost kernel: TCP: time wait bucket table overflow
如上錯誤是因爲net.ipv4.tcp_max_tw_buckets設置太小致使，若是內核有如上錯誤，咱們須要增長net.ipv4.tcp_max_tw_buckets的值。
Too many open files錯誤：
若是後臺報錯，大量的too many open files錯誤，通常主要是JAVA應用出現這類錯誤比較多。咱們須要設置內核打開文件最大數。
ulimit -SHn 51200 臨時生效，若是想永久生效，須要寫入到系統內核裏面：
vi /etc/security/limits.conf
* soft nproc 65535
* hard nproc 65535
* soft nofile 65535
* hard nofile 65535

SOFT軟限制 能夠突破  hard 硬限制 全部用戶不能超過 number open file 
而後exit退出，從新登陸即生效，也能夠寫在/etc/profile文件裏。

內核優化主要打開文件數；time wait buckets數 ，端口數 ，打開TCP time wait 快速回收；打開SYN COOKIES；fin_timeout 出現第第1次第2次揮手；keeplalieved_time 
14.影響務器性能因素
影響Linux服務器性能的因素有不少，這裏大體分爲以下兩類：
1)操做系統級
a)內存
b)CPU
c)磁盤I/O
d)網絡I/O帶寬
2)程序應用級
15.系統性能評估標準
影響性能因素 評判標準

影響性能因素	評判標準
	好	壞	糟糕
CPU	user% + sys%< 70%	user% + sys%= 85%	user% + sys% >=90%
內存	Swap In（si）＝0 Swap Out（so）＝0	Per CPU with 10 page/s	More Swap In & Swap Out
磁盤	iowait % < 20%	iowait % =35%	iowait % >= 50%

其中：
%user：表示CPU處在用戶模式下的時間百分比。
%sys：表示CPU處在系統模式下的時間百分比。
%iowait：表示CPU等待輸入輸出完成時間的百分比。
swap in：即si，表示虛擬內存的頁導入，即從SWAP DISK交換到RAM
swap out：即so，表示虛擬內存的頁導出，即從RAM交換到SWAP DISK。
16.系統性能分析工具
1.經常使用系統命令
vmstat、sar、iostat、netstat、free、ps、top、iftop等
2.經常使用組合方式
vmstat、sar、iostat檢測是不是CPU瓶頸
free、vmstat檢測是不是內存瓶頸
iostat檢測是不是磁盤I/O瓶頸
netstat、iftop檢測是不是網絡帶寬瓶頸
17.Linux性能評估與優化
1)系統總體性能評估（uptime命令）
[root@web1 ~]# uptime
16:38:00 up 118 days,  3:01,  5 users,  load average: 1.22, 1.02, 0.91
這裏須要注意的是：load average這個輸出值，這三個值的大小通常不能大於系統CPU的個數，例如，本輸出中系統有8個CPU,若是load average的三個值長期大於8時，說明CPU很繁忙，負載很高，可能會影響系統性能，可是偶爾大於8時，倒不用擔憂，通常不會影響系統性能。相反，若是load average的輸出值小於CPU的個數，則表示CPU還有空閒的時間片，好比本例中的輸出，CPU是很是空閒的。
2)CPU性能評估
1)利用vmstat命令監控系統CPU
該命令能夠顯示關於系統各類資源之間相關性能的簡要信息，這裏咱們主要用它來看CPU一個負載狀況。
下面是vmstat命令在某個系統的輸出結果：

 

r列表示運行和等待cpu時間片的進程數，這個值若是長期大於系統CPU的個數，說明CPU不足，須要增長CPU。
b列表示在等待資源的進程數，好比正在等待I/O、或者內存交換等。
us列顯示了用戶進程消耗的CPU 時間百分比。us的值比較高時，說明用戶進程消耗的cpu時間多，可是若是長期大於50%，就須要考慮優化程序或算法。
sy列顯示了內核進程消耗的CPU時間百分比。Sy的值較高時，說明內核消耗的CPU資源不少。
根據經驗，us+sy的參考值爲80%，若是us+sy大於 80%說明可能存在CPU資源不足。
2)利用sar命令監控系統CPU
sar功能很強大，能夠對系統的每一個方面進行單獨的統計，可是使用sar命令會增長系統開銷，不過這些開銷是能夠評估的，對系統的統計結果不會有很大影響。
下面是sar命令對某個系統的CPU統計輸出：

 

對上面每項的輸出解釋以下：
%user列顯示了用戶進程消耗的CPU 時間百分比。
%nice列顯示了運行正常進程所消耗的CPU 時間百分比。
%system列顯示了系統進程消耗的CPU時間百分比。
%iowait列顯示了IO等待所佔用的CPU時間百分比
%steal列顯示了在內存相對緊張的環境下pagein強制對不一樣的頁面進行的steal操做 。
%idle列顯示了CPU處在空閒狀態的時間百分比。

問題
1)你是否遇到過系統CPU總體利用率不高，而應用緩慢的現象？
在一個多CPU的系統中，若是程序使用了單線程，會出現這麼一個現象，CPU的總體使用率不高，可是系統應用卻響應緩慢，這多是因爲程序使用單線程的緣由，單線程只使用一個CPU，致使這個CPU佔用率爲100%，沒法處理其它請求，而其它的CPU卻閒置，這就致使了總體CPU使用率不高，而應用緩慢現象的發生。
3)內存性能評估
1)利用free指令監控內存
free是監控linux內存使用情況最經常使用的指令，看下面的一個輸出：

 

通常有這樣一個經驗公式：應用程序可用內存/系統物理內存>70%時，表示系統內存資源很是充足，不影響系統性能，應用程序可用內存/系統物理內存<20%時，表示系統內存資源緊缺，須要增長系統內存，20%<應用程序可用內存/系統物理內存<70%時，表示系統內存資源基本能知足應用需求，暫時不影響系統性能。

內存爆滿也會引發CPU和IO高
2)利用vmstat命令監控內存

 

swpd列表示切換到內存交換區的內存數量（以k爲單位）。若是swpd的值不爲0，或者比較大，只要si、so的值長期爲0，這種狀況下通常不用擔憂，不會影響系統性能。
free列表示當前空閒的物理內存數量（以k爲單位）
buff列表示buffers cache的內存數量，通常對塊設備的讀寫才須要緩衝。
cache列表示page cached的內存數量，通常做爲文件系統cached，頻繁訪問的文件都會被cached，若是cache值較大，說明cached的文件數較多，若是此時IO中bi比較小，說明文件系統效率比較好。
si列表示由磁盤調入內存，也就是內存進入內存交換區的數量。
so列表示由內存調入磁盤，也就是內存交換區進入內存的數量。
通常狀況下，si、so的值都爲0，若是si、so的值長期不爲0，則表示系統內存不足。須要增長系統內存。
4)磁盤I/O性能評估
1)磁盤存儲基礎
熟悉RAID存儲方式，能夠根據應用的不一樣，選擇不一樣的RAID方式。
儘量用內存的讀寫代替直接磁盤I/O，使頻繁訪問的文件或數據放入內存中進行操做處理，由於內存讀寫操做比直接磁盤讀寫的效率要高千倍。
將常常進行讀寫的文件與長期不變的文件獨立出來，分別放置到不一樣的磁盤設備上。
對於寫操做頻繁的數據，能夠考慮使用裸設備代替文件系統。
使用裸設備的優勢有：
數據能夠直接讀寫，不須要通過操做系統級的緩存，節省了內存資源，避免了內存資源爭用。
避免了文件系統級的維護開銷，好比文件系統須要維護超級塊、I-node等。
避免了操做系統的cache預讀功能，減小了I/O請求。
使用裸設備的缺點是：
數據管理、空間管理不靈活，須要很專業的人來操做。
2)利用iostat評估磁盤性能

 

對上面每項的輸出解釋以下：
Blk_read/s表示每秒讀取的數據塊數。
Blk_wrtn/s表示每秒寫入的數據塊數。
Blk_read表示讀取的全部塊數。
Blk_wrtn表示寫入的全部塊數。
能夠經過Blk_read/s和Blk_wrtn/s的值對磁盤的讀寫性能有一個基本的瞭解，若是Blk_wrtn/s值很大，表示磁盤的寫操做很頻繁，能夠考慮優化磁盤或者優化程序，若是Blk_read/s值很大，表示磁盤直接讀取操做不少，能夠將讀取的數據放入內存中進行操做。
對於這兩個選項的值沒有一個固定的大小，根據系統應用的不一樣，會有不一樣的值，可是有一個規則仍是能夠遵循的：長期的、超大的數據讀寫，確定是不正常的，這種狀況必定會影響系統性能。
3)利用sar評估磁盤性能
經過sar -d組合，能夠對系統的磁盤IO作一個基本的統計，請看下面的一個輸出：

 

須要關注的幾個參數含義：
await表示平均每次設備I/O操做的等待時間（以毫秒爲單位）。
svctm表示平均每次設備I/O操做的服務時間（以毫秒爲單位）。
%util表示一秒中有百分之幾的時間用於I/O操做。
對以磁盤IO性能，通常有以下評判標準：
正常狀況下svctm應該是小於await值的，而svctm的大小和磁盤性能有關，CPU、內存的負荷也會對svctm值形成影響，過多的請求也會間接的致使svctm值的增長。
await值的大小通常取決與svctm的值和I/O隊列長度以及I/O請求模式，若是svctm的值與await很接近，表示幾乎沒有I/O等待，磁盤性能很好，若是await的值遠高於svctm的值，則表示I/O隊列等待太長，系統上運行的應用程序將變慢，此時能夠經過更換更快的硬盤來解決問題。
%util項的值也是衡量磁盤I/O的一個重要指標，若是%util接近100%，表示磁盤產生的I/O請求太多，I/O系統已經滿負荷的在工做，該磁盤可能存在瓶頸。長期下去，勢必影響系統的性能，能夠經過優化程序或者經過更換更高、更快的磁盤來解決此問題。
5)網絡性能評估
1)經過ping命令檢測網絡的連通性
2)經過netstat –i組合檢測網絡接口情況
3)經過netstat –r組合檢測系統的路由表信息
4)經過sar -n組合顯示系統的網絡運行狀態
5)經過iftop -i eth0 查看網卡流量

 

yum install sysstat      iostat、mpstat、sar、sa的功能

yum install epel-release  yum install iftop