在架設kafka和elasticsearch集羣時,遇到了須要更改系統資源配置的相關問題,即和/etc/security/limits.conf文件相關,同時對於其它類型的服務器來講也會有這些問題,現總結記錄以下:linux
命令:ulimit
功能:控制shell程序的資源
語法:ulimit [-aHS][-c <core文件上限>][-d <數據節區大小>][-f <文件大 小>][-m <內存大小>][-n <文件數目>][-p <緩衝區大小>][-s <堆棧大小>][-t <CPU時間>][-u <程序數目>][-v <虛擬內存大小>]
說明:ulimit爲shell內建指令,可用來控制shell執行程序的資源。
參數:
-a 顯示目前資源限制的設定。
-c <core文件上限> 設定core文件的最大值,單位爲區塊。
-d <數據節區大小> 程序數據節區的最大值,單位爲KB。
-f <文件大小> shell所能創建的最大文件,單位爲區塊。
-H 設定資源的硬性限制,也就是管理員所設下的限制。
-m <內存大小> 指定可以使用內存的上限,單位爲KB。
-n <文件數目> 指定同一時間最多可打開的文件數。
-p <緩衝區大小> 指定管道緩衝區的大小,單位512字節。
-s <堆棧大小> 指定堆疊的上限,單位爲KB。
-S 設定資源的彈性限制。
-t <CPU時間> 指定CPU使用時間的上限,單位爲秒。
-u <進程數目> 用戶最多可啓動的進程數目。
-v <虛擬內存大小> 指定可以使用的虛擬內存上限,單位爲KB。shell
# ulimit -a ... core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 30518 max locked memory (kbytes, -l) 64 max memory size (kbytes, -m) unlimited open files (-n) 1024 pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 real-time priority (-r) 0 stack size (kbytes, -s) 10240 cpu time (seconds, -t) unlimited max user processes (-u) 1024 virtual memory (kbytes, -v) unlimited file locks (-x) unlimited
Linux對於每一個用戶,系統限制其最大進程數。爲提升性能,能夠根據設備資源狀況,設置各linux 用戶的最大進程數,如10000vim
# ulimit -u 10000
對於須要作許多 socket 鏈接並使它們處於打開狀態的 Java 應用程序而言,須要設置每一個進程可打開的文件數,缺省值是 1024。服務器
# ulimit -n 65535
建議設置成無限制(unlimited)的一些重要設置是: session
# ulimit -d unlimited
# ulimit -m unlimited
# ulimit -s unlimited
# ulimit -t unlimited
# ulimit -v unlimited
注意:ulimited 不限制用戶可使用的資源,但本設置對可打開的最大文件數(max open files)
和可同時運行的最大進程數(max user processes)無效。socket
/etc/security/limits.conf 是Linux 資源使用配置文件,用來限制用戶對系統資源的使用。limits.conf 文件實際是 Linux PAM(插入式認證模塊,Pluggable Authentication Modules)中 pam_limits.so 的配置文件,並且只針對於單個會話。elasticsearch
username|@groupname type resource limit
要使 limits.conf 文件配置生效,必需要確保 pam_limits.so 文件被加入到啓動文件中。查看 /etc/pam.d/su 文件中有:ide
... session required pam_limits.so ...
# vim /etc/profile ... # 添加以下 ulimit -SHn 204800
注:此處設置的204800必須大於/etc/security/limits.conf最大打開數性能
例如:修改文件描述符大小(65536)大數據
# vim /etc/security/limits.conf ... * soft nofile 65536 * hard nofile 65536
# vim /etc/pam.d/su ... session required pam_limits.so
# vim /etc/profile ... ulimit -SHn 204800
若是是服務啓動的上述設置不能起做用,須要在服務器文件中進行設置,服務器文件通常位於下面的位置中:
... [Service] ... LimitCORE=infinity LimitNOFILE=65536 LimitNPROC=65536
上述三項是須要在服務中增長的內容,65536是自定義的數目。
經過以下命令能夠查看當前運行的服務的資源限制
# cat /proc/<PID>/limit