最大線程數量

時間 2019-11-10

標籤最大線程數量简体版

原文原文鏈接

最近面試的時候遇到一個關於java中最多能建立多少線程的問題，結果瞎答一通，尷尬了，回來看了一篇博客，人家寫的很好，轉載一下，原文鏈：https://www.cnblogs.com/princessd8251/articles/3914434.htmlhtml

JVM最大建立線程數量由JVM堆內存大小、線程的Stack內存大小、系統最大可建立線程數（Java線程的實現是基於底層系統的線程機制來實現的，Windows下_beginthreadex，Linux下pthread_create）三個方面影響。具體以下：java

-Xms 最小堆內存
-Xmx 最大堆內存
-Xss 設置每一個線程的堆棧大小。JDK5.0之後每一個線程堆棧大小爲1M
操做系統限制 系統最大可開線程數，主要受如下幾個參數影響
linux

/proc/sys/kernel/pid_max面試

/proc/sys/kernel/thread-maxwindows

max_user_process（ulimit -u）在64位Linux系統（CentOS 6， 3G內存）下測試，發現還有一個參數是會限制線程數量：max user process（可經過ulimit –a查看，默認值1024，經過ulimit –u能夠修改此值），這個值在上面的32位Ubuntu測試環境下並沒有限制服務器

/proc/sys/vm/max_map_countapp

將threads-max，pid_max，max user process，這三個參數值都修改爲100000，-Xms，-Xmx儘可能小（128m，64m），-Xss儘可能小（64位下最小104k，可取值128k）。事先預測在這樣的測試環境下，線程數量就只會受限於測試環境的內存大小（3G），但是實際的測試結果是線程數量在達到32K（32768，建立的數量最多的時候大概是33000左右）左右時JVM是拋出警告：Attempt to allocate stack guard pages failed，而後出現OutOfMemoryError沒法建立本地線程。查看內存後發現還有不少空閒，因此應該不是內存容量的緣由。/proc/sys/vm/max_map_count的數量翻倍，從65536變爲131072，建立的線程總數量達到65000+，電腦基本要卡死（3G內存）…less

簡單查了下這個參數的做用，在[8]中的描述以下：eclipse

「This file contains the maximum number of memory map areas a process may have. Memory map areas are used as a side-effect of calling malloc, directly by mmap and mprotect, and also when loading shared libraries.jvm

While most applications need less than a thousand maps, certain programs, particularly malloc debuggers, may consume lots of them, e.g., up to one or two maps per allocation.

The default value is 65536.」

操做系統最大線程數限制

32位Linux系統可建立的最大pid數是32678，這個數值能夠經過/proc/sys/kernel/pid_max來作修改（修改其值爲10000：echo 10000 > /proc/sys/kernel/pid_max），可是在32系統下這個值只能改小，沒法改大。

Windows可建立的線程數量比linux可能更少。

在64位Linux系統（CentOS 6）下，還有一個參數會限制線程數量：max user process（可經過ulimit –a查看，默認值1024，經過ulimit –u能夠修改此值）

測試程序以下：

import java.util.concurrent.atomic.AtomicInteger;
public class TestThread extends Thread {
private static final AtomicInteger count = new AtomicInteger();
public static void main(String[] args) {
while (true)
(new TestThread()).start();
}
@Override
public void run() {
System.out.println(count.incrementAndGet());
while (true)
try {
Thread.sleep(Integer.MAX_VALUE);
} catch (InterruptedException e) {
break;
}
}
}

測試環境：

系統：Ubuntu 10.04 Linux Kernel 2.6 （32位）

內存：2G

JDK：1.7

測試結果：

◆ 不考慮系統限制

-Xms	-Xmx	-Xss	結果
1024m	1024m	1024k	1737
1024m	1024m	64k	26077
512m	512m	64k	31842
256m	256m	64k	31842

在建立的線程數量達到31842個時，系統中沒法建立任何線程。

由上面的測試結果能夠看出增大堆內存（-Xms，-Xmx）會減小可建立的線程數量，增大線程棧內存（-Xss，32位系統中此參數值最小爲60K）也會減小可建立的線程數量。

◆ 結合系統限制

線程數量31842的限制是是由系統能夠生成的最大線程數量決定的：/proc/sys/kernel/threads-max，可其默認值是32080。修改其值爲10000：echo 10000 > /proc/sys/kernel/threads-max，修改後的測試結果以下：

-Xms	-Xmx	-Xss	結果
256m	256m	64k	9761

這樣的話，是否是意味着能夠配置儘可能多的線程？再作修改：echo 1000000 > /proc/sys/kernel/threads-max，修改後的測試結果以下：

-Xms	-Xmx	-Xss	結果
256m	256m	64k	32279
128m	128m	64k	32279

發現線程數量在達到32279之後，再也不增加。查了一下，32位Linux系統可建立的最大pid數是32678，這個數值能夠經過/proc/sys/kernel/pid_max來作修改（修改方法同threads-max），可是在32系統下這個值只能改小，沒法更大。在threads-max必定的狀況下，修改pid_max對應的測試結果以下：

pid_max	-Xms	-Xmx	-Xss	結果
1000	128m	128m	64k	582
10000	128m	128m	64k	9507

在Windows上的狀況應該相似，不過相比Linux，Windows上可建立的線程數量可能更少。基於線程模型的服務器總要受限於這個線程數量的限制。

總結：

JVM中能夠生成的最大數量由JVM的堆內存大小、Thread的Stack內存大小、系統最大可建立的線程數量（Java線程的實現是基於底層系統的線程機制來實現的，Windows下_beginthreadex，Linux下pthread_create）三個方面影響。具體數量能夠根據Java進程能夠訪問的最大內存（32位系統上通常2G）、堆內存、Thread的Stack內存來估算。

1、模擬問題:

首先咱們經過下面這個測試程序來認識這個問題：
運行的環境（有必要說明一下，不一樣環境會有不一樣的結果）：32位 Windows XP，Sun JDK 1.6.0_18， eclipse 3.4，
測試程序：

Java代碼

import java.util.concurrent.CountDownLatch;
public class TestNativeOutOfMemoryError {
public static void main(String[] args) {
for (int i = 0;; i++) {
System.out.println("i = " + i);
new Thread(new HoldThread()).start();
}
}
}
class HoldThread extends Thread {
CountDownLatch cdl = new CountDownLatch(1);
public HoldThread() {
this.setDaemon(true);
}
public void run() {
try {
cdl.await();
} catch (InterruptedException e) {
}
}
}

不指定任何JVM參數，eclipse中直接運行輸出，看到了這位朋友了吧：
i = 5602
Exception in thread "main" java.lang.OutOfMemoryError: unable to create new native thread
    at java.lang.Thread.start0(Native Method)
    at java.lang.Thread.start(Thread.java:597)
    at TestNativeOutOfMemoryError.main(TestNativeOutOfMemoryError.java:20)

2、分析問題：

這個異常問題本質緣由是咱們建立了太多的線程，而能建立的線程數是有限制的，致使了異常的發生。能建立的線程數的具體計算公式以下：
(MaxProcessMemory - JVMMemory - ReservedOsMemory) / (ThreadStackSize) = Number of threads
MaxProcessMemory 指的是一個進程的最大內存
JVMMemory         JVM內存
ReservedOsMemory 保留的操做系統內存
ThreadStackSize      線程棧的大小

在java語言裏，當你建立一個線程的時候，虛擬機會在JVM內存建立一個Thread對象同時建立一個操做系統線程，而這個系統線程的內存用的不是JVMMemory，而是系統中剩下的內存(MaxProcessMemory - JVMMemory - ReservedOsMemory)。

結合上面例子咱們來對公式說明一下：
MaxProcessMemory 在32位的 windows下是 2G
JVMMemory   eclipse默認啓動的程序內存是64M
ReservedOsMemory 通常是130M左右
ThreadStackSize 32位 JDK 1.6默認的stacksize 325K左右
公式以下：
(2*1024*1024-64*1024-130*1024)/325 = 5841
公式計算所得5841，和實踐5602基本一致（有誤差是由於ReservedOsMemory不能很精確）

由公式得出結論：你給JVM內存越多，那麼你能建立的線程越少，越容易發生java.lang.OutOfMemoryError: unable to create new native thread。

咦，有點背咱們的常理，恩，讓咱們來驗證一下,依舊使用上面的測試程序，加上下面的JVM參數，測試結果以下：
ThreadStackSize      JVMMemory                    能建立的線程數
默認的325K             -Xms1024m -Xmx1024m    i = 2655
默認的325K               -Xms1224m -Xmx1224m    i = 2072
默認的325K             -Xms1324m -Xmx1324m    i = 1753
默認的325K             -Xms1424m -Xmx1424m    i = 1435
-Xss1024k             -Xms1424m -Xmx1424m    i = 452
徹底和公式一致。

3、解決問題：
1，若是程序中有bug，致使建立大量不須要的線程或者線程沒有及時回收，那麼必須解決這個bug，修改參數是不能解決問題的。
2，若是程序確實須要大量的線程，現有的設置不能達到要求，那麼能夠經過修改MaxProcessMemory，JVMMemory，ThreadStackSize這三個因素，來增長能建立的線程數：
a, MaxProcessMemory 使用64位操做系統
b, JVMMemory   減小JVMMemory的分配
c, ThreadStackSize 減少單個線程的棧大小