Linux參數優化

[TOC]

參考：ulimit、limits.conf、sysctl和proc文件系統

limits.conf配置

位置：/etc/security/limits.conf（或/etc/security/limits.d/裏面） 格式：<domain> <type> <item> <value>（參考limits.conf中的註釋部分的說明）

• domain: username|@groupname
• type: soft、hard、-
• item:
  • core - 限制內核文件的大小
  • date - 最大數據大小
  • fsize - 最大文件大小
  • memlock - 最大鎖定內存地址空間
  • nofile - 打開文件的最大數目
  • rss - 最大持久設置大小
  • stack - 最大棧大小
  • cpu - 以分鐘爲單位的最多 CPU 時間
  • noproc - 進程的最大數目
  • as - 地址空間限制
  • maxlogins - 此用戶容許登陸的最大數目
• value: 值的大小

注意：nofile最大能夠設置爲1024*1024=1048576，再大的話會致使系統沒法登陸

/proc/sys/fs/file-max 內核可分配的最大文件數

/proc/sys/fs/nr_open 單個進程可分配的最大文件數

nofile的值須要小於nr_open的值 對單一程序的限制，進程級別的

修改以後從新登陸便可生效 示例：

*          soft    nproc     unlimited
*          hard    nproc     unlimited

*          soft    nofile    1024000
*          hard    nofile    1024000

# 當前用戶最大登陸數
# max number of logins for this user
* soft maxlogins 100
* hard maxlogins 100

# 系統最大登陸用戶數
# max number of logins on the system
* soft maxsyslogins 100
* hard maxsyslogins 100

sysctl.conf配置

摘抄的一套配置

# Kernel sysctl configuration file for Red Hat Linux
#
# For binary values, 0 is disabled, 1 is enabled.  See sysctl(8) and
# sysctl.conf(5) for more details.

# Controls IP packet forwarding
net.ipv4.ip_forward = 0

# Controls source route verification
net.ipv4.conf.default.rp_filter = 1

# Do not accept source routing
net.ipv4.conf.default.accept_source_route = 0

# Controls the System Request debugging functionality of the kernel

# Controls whether core dumps will append the PID to the core filename.
# Useful for debugging multi-threaded applications.
kernel.core_uses_pid = 1

# Controls the use of TCP syncookies
net.ipv4.tcp_syncookies = 1

# Disable netfilter on bridges.
net.bridge.bridge-nf-call-ip6tables = 0
net.bridge.bridge-nf-call-iptables = 0
net.bridge.bridge-nf-call-arptables = 0

# Controls the default maxmimum size of a mesage queue
kernel.msgmnb = 65536

# Controls the maximum size of a message, in bytes
kernel.msgmax = 65536

# Controls the maximum shared segment size, in bytes
kernel.shmmax = 68719476736

# Controls the maximum number of shared memory segments, in pages
kernel.shmall = 4294967296
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.all.secure_redirects = 0
net.ipv4.conf.default.secure_redirects = 0
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.default.accept_redirects = 0
net.netfilter.nf_conntrack_max = 1000000
kernel.unknown_nmi_panic = 0
kernel.sysrq = 0
fs.file-max = 1000000
vm.swappiness = 10
fs.inotify.max_user_watches = 10000000
net.core.wmem_max = 327679
net.core.rmem_max = 327679

一份帶說明的配置參考

#優化TCP
vi /etc/sysctl.conf
#禁用包過濾功能 
net.ipv4.ip_forward = 0  
#啓用源路由覈查功能 
net.ipv4.conf.default.rp_filter = 1  
#禁用全部IP源路由 
net.ipv4.conf.default.accept_source_route = 0  
#使用sysrq組合鍵是瞭解系統目前運行狀況，爲安全起見設爲0關閉
kernel.sysrq = 0  
#控制core文件的文件名是否添加pid做爲擴展
kernel.core_uses_pid = 1  
#開啓SYN Cookies，當出現SYN等待隊列溢出時，啓用cookies來處理
net.ipv4.tcp_syncookies = 1  
#每一個消息隊列的大小（單位：字節）限制
kernel.msgmnb = 65536  
#整個系統最大消息隊列數量限制
kernel.msgmax = 65536  
#單個共享內存段的大小（單位：字節）限制，計算公式64G*1024*1024*1024(字節)
kernel.shmmax = 68719476736  
#全部內存大小（單位：頁，1頁 = 4Kb），計算公式16G*1024*1024*1024/4KB(頁)
kernel.shmall = 4294967296  
#timewait的數量，默認是180000
net.ipv4.tcp_max_tw_buckets = 6000  
#開啓有選擇的應答
net.ipv4.tcp_sack = 1  
#支持更大的TCP窗口. 若是TCP窗口最大超過65535(64K), 必須設置該數值爲1
net.ipv4.tcp_window_scaling = 1  
#TCP讀buffer
net.ipv4.tcp_rmem = 4096 131072 1048576
#TCP寫buffer
net.ipv4.tcp_wmem = 4096 131072 1048576   
#爲TCP socket預留用於發送緩衝的內存默認值（單位：字節）
net.core.wmem_default = 8388608
#爲TCP socket預留用於發送緩衝的內存最大值（單位：字節）
net.core.wmem_max = 16777216  
#爲TCP socket預留用於接收緩衝的內存默認值（單位：字節）  
net.core.rmem_default = 8388608
#爲TCP socket預留用於接收緩衝的內存最大值（單位：字節）
net.core.rmem_max = 16777216
#每一個網絡接口接收數據包的速率比內核處理這些包的速率快時，容許送到隊列的數據包的最大數目
net.core.netdev_max_backlog = 262144  
#web應用中listen函數的backlog默認會給咱們內核參數的net.core.somaxconn限制到128，而nginx定義的NGX_LISTEN_BACKLOG默認爲511，因此有必要調整這個值
net.core.somaxconn = 262144  
#系統中最多有多少個TCP套接字不被關聯到任何一個用戶文件句柄上。這個限制僅僅是爲了防止簡單的DoS攻擊，不能過度依靠它或者人爲地減少這個值，更應該增長這個值(若是增長了內存以後)
net.ipv4.tcp_max_orphans = 3276800  
#記錄的那些還沒有收到客戶端確認信息的鏈接請求的最大值。對於有128M內存的系統而言，缺省值是1024，小內存的系統則是128
net.ipv4.tcp_max_syn_backlog = 262144  
#時間戳能夠避免序列號的卷繞。一個1Gbps的鏈路確定會遇到之前用過的序列號。時間戳可以讓內核接受這種「異常」的數據包。這裏須要將其關掉
net.ipv4.tcp_timestamps = 0  
#爲了打開對端的鏈接，內核須要發送一個SYN並附帶一個迴應前面一個SYN的ACK。也就是所謂三次握手中的第二次握手。這個設置決定了內核放棄鏈接以前發送SYN+ACK包的數量
net.ipv4.tcp_synack_retries = 1  
#在內核放棄創建鏈接以前發送SYN包的數量
net.ipv4.tcp_syn_retries = 1  
#開啓TCP鏈接中time_wait sockets的快速回收
net.ipv4.tcp_tw_recycle = 1  
#開啓TCP鏈接複用功能，容許將time_wait sockets從新用於新的TCP鏈接（主要針對time_wait鏈接）
net.ipv4.tcp_tw_reuse = 1  
#1st低於此值,TCP沒有內存壓力,2nd進入內存壓力階段,3rdTCP拒絕分配socket(單位：內存頁)
net.ipv4.tcp_mem = 94500000 915000000 927000000   
#若是套接字由本端要求關閉，這個參數決定了它保持在FIN-WAIT-2狀態的時間。對端能夠出錯並永遠不關閉鏈接，甚至意外當機。缺省值是60 秒。2.2 內核的一般值是180秒，你能夠按這個設置，但要記住的是，即便你的機器是一個輕載的WEB服務器，也有由於大量的死套接字而內存溢出的風險，FIN- WAIT-2的危險性比FIN-WAIT-1要小，由於它最多隻能吃掉1.5K內存，可是它們的生存期長些。
net.ipv4.tcp_fin_timeout = 15  
#表示當keepalive起用的時候，TCP發送keepalive消息的頻度（單位：秒）
net.ipv4.tcp_keepalive_time = 30  
#對外鏈接端口範圍
net.ipv4.ip_local_port_range = 2048 65000
#表示文件句柄的最大數量
fs.file-max = 102400

sysctl和proc文件系統

/proc文件系統與sysctl.conf的對應關係

1. 去掉前面部分/proc/sys
2. 將文件名中的斜槓變爲點

經常使用文件

• /proc/meminfo 內存信息
• /proc/cpuinfo CPU信息
• /proc/sys/fs/file-max 文件打開數
• /proc/sys/fs/file-nr 整個系統目前使用的文件句柄數量

遇到的坑

Cannot allocate memory 問題的處理

查看最大進程數 sysctl kernel.pid_max 查看進程數 ps -eLf | wc -l 確認是進程數滿了 臨時修改： echo 1000000 > /proc/sys/kernel/pid_max 永久生效：

echo "kernel.pid_max=1000000 " >> /etc/sysctl.conf
sysctl -p

端口不夠用

查看可用端口範圍

cat /proc/sys/net/ipv4/ip_local_port_range
32768   60999

修改端口可用範圍

# 臨時修改
echo 1024 65000 > /proc/sys/net/ipv4/ip_local_port_range
# 永久修改：在/etc/sysctl.conf中添加以下信息
net.ipv4.ip_local_port_range = 1024 65535
# 而後生效一下
sysctl -p

TIME_WAIT佔用端口過多，

壓測過程當中，TCP鏈接的主動關閉方會出現大量的TIME_WAIT狀態，致使端口不夠用等問題

# 一樣，在/etc/sysctl.conf中添加以下信息，最後使用sysctl -p生效一下

# 表示開啓SYN cookies。當出現SYN等待隊列溢出時，啓用cookies來處理，可防範少許SYN攻擊，默認爲0，表示關閉
net.ipv4.tcp_syncookies = 1
# 表示開啓重用。容許將TIME-WAIT sockets從新用於新的TCP鏈接，默認爲0，表示關閉；
net.ipv4.tcp_tw_reuse = 1
# 表示開啓TCP鏈接中TIME-WAIT sockets的快速回收，默認爲0，表示關閉
net.ipv4.tcp_tw_recycle = 1
# 修改系統默認的 TIMEOUT 時間
net.ipv4.tcp_fin_timeout = 30

經常使用操做

設置腳本開機自啓動

將啓動命令添加到/etc/rc.d/rc.local中