jvm 線程數量

Java虛擬機可以管理的線程數量有限,不加控制的建立新線程可能會致使Java虛擬機崩潰。html

JVM中能夠生成的最大數量由JVM的堆內存大小、Thread的Stack內存大小、系統最大可建立的線程數量(Java線程的實現是基於底層系統的線程機制來實現的,Windows下_beginthreadex,Linux下pthread_create)三個方面影響。java

AD:linux

最近想測試下Openfire下的最大併發數,須要開大量線程來模擬客戶端。對於一個JVM實例到底能開多少個線程一直心存疑惑,因此打算實際測試下,簡單google了把,找到影響線程數量的因素有下面幾個:服務器

-Xms併發

intial java heap sizeapp

-Xmxless

maximum java heap sizejvm

-Xsside

the stack size for each thread測試

系統限制

系統最大可開線程數

測試程序以下:
  1. import java.util.concurrent.atomic.AtomicInteger; 
  2. public class TestThread extends Thread { 
  3.     private static final AtomicInteger count = new AtomicInteger(); 
  4.     public static void main(String[] args) { 
  5.         while (true) 
  6.             (new TestThread()).start(); 
  7.     } 
  8.     @Override 
  9.     public void run() { 
  10.         System.out.println(count.incrementAndGet()); 
  11.         while (true) 
  12.             try { 
  13.                 Thread.sleep(Integer.MAX_VALUE); 
  14.             } catch (InterruptedException e) { 
  15.                 break; 
  16.             } 
  17.     } 

測試環境:

系統:Ubuntu 10.04 Linux Kernel 2.6 (32位)

內存:2G

JDK:1.7

 

測試結果:

◆ 不考慮系統限制

-Xms

-Xmx

-Xss

結果

1024m

1024m

1024k

1737

1024m

1024m

64k

26077

512m

512m

64k

31842

256m

256m

64k

31842

在建立的線程數量達到31842個時,系統中沒法建立任何線程。

 

由上面的測試結果能夠看出增大堆內存(-Xms,-Xmx)會減小可建立的線程數量,增大線程棧內存(-Xss,32位系統中此參數值最小爲60K)也會減小可建立的線程數量。

 

◆ 結合系統限制

線程數量31842的限制是是由系統能夠生成的最大線程數量決定的:/proc/sys/kernel/threads-max,可其默認值是32080。修改其值爲10000:echo 10000 > /proc/sys/kernel/threads-max,修改後的測試結果以下:

-Xms

-Xmx

-Xss

結果

256m

256m

64k

9761

這樣的話,是否是意味着能夠配置儘可能多的線程?再作修改:echo 1000000 > /proc/sys/kernel/threads-max,修改後的測試結果以下:

-Xms

-Xmx

-Xss

結果

256m

256m

64k

32279

128m

128m

64k

32279

發現線程數量在達到32279之後,再也不增加。查了一下,32位Linux系統可建立的最大pid數是32678,這個數值能夠經過/proc/sys/kernel/pid_max來作修改(修改方法同threads-max),可是在32系統下這個值只能改小,沒法更大。在threads-max必定的狀況下,修改pid_max對應的測試結果以下:

pid_max

-Xms

-Xmx

-Xss

結果

1000

128m

128m

64k

582

10000

128m

128m

64k

9507

在Windows上的狀況應該相似,不過相比Linux,Windows上可建立的線程數量可能更少。基於線程模型的服務器總要受限於這個線程數量的限制。

 

總結:

JVM中能夠生成的最大數量由JVM的堆內存大小、Thread的Stack內存大小、系統最大可建立的線程數量(Java線程的實現是基於底層系統的線程機制來實現的,Windows下_beginthreadex,Linux下pthread_create)三個方面影響。具體數量能夠根據Java進程能夠訪問的最大內存(32位系統上通常2G)、堆內存、Thread的Stack內存來估算。

序:

在64位Linux系統(CentOS 6, 3G內存)下測試,發現還有一個參數是會限制線程數量:max user process(可經過ulimit –a查看,默認值1024,經過ulimit –u能夠修改此值),這個值在上面的32位Ubuntu測試環境下並沒有限制。

將threads-max,pid_max,max user process,這三個參數值都修改爲100000,-Xms,-Xmx儘可能小(128m,64m),-Xss儘可能小(64位下最小104k,可取值128k)。事先預測在這樣的測試環境下,線程數量就只會受限於測試環境的內存大小(3G),但是實際的測試結果是線程數量在達到32K(32768,建立的數量最多的時候大概是33000左右)左右時JVM是拋出警告:Attempt to allocate stack guard pages failed,而後出現OutOfMemoryError沒法建立本地線程。查看內存後發現還有不少空閒,因此應該不是內存容量的緣由。Google此警告無果,暫時不知什麼緣由,有待進一步研究。

序2:今天無心中發現文章[7],立刻試了下,果真這個因素會影響線程建立數量,按文中描述把/proc/sys/vm/max_map_count的數量翻倍,從65536變爲131072,建立的線程總數量達到65000+,電腦基本要卡死(3G內存)… 簡單查了下這個參數的做用,在[8]中的描述以下:

「This file contains the maximum number of memory map areas a process may have. Memory map areas are used as a side-effect of calling malloc, directly by mmap and mprotect, and also when loading shared libraries.

While most applications need less than a thousand maps, certain programs, particularly malloc debuggers, may consume lots of them, e.g., up to one or two maps per allocation.

The default value is 65536.」

 

OK,這個問題總算完滿解決,最後總結下影響Java線程數量的因素:

Java虛擬機自己:-Xms,-Xmx,-Xss;

系統限制:

/proc/sys/kernel/pid_max,

/proc/sys/kernel/thread-max,

max_user_process(ulimit -u),

/proc/sys/vm/max_map_count。

參考資料:

1. http://blog.krecan.net/2010/04/07/how-many-threads-a-jvm-can-handle/

2. http://www.cyberciti.biz/tips/maximum-number-of-processes-linux-26-kernel-can-handle.html

3. http://geekomatic.ch/2010/11/24/1290630420000.html

4. http://stackoverflow.com/questions/763579/how-many-threads-can-a-java-vm-support

5. http://www.iteye.com/topic/1035818

6. http://hi.baidu.com/hexiong/blog/item/16dc9e518fb10c2542a75b3c.html

7. https://listman.redhat.com/archives/phil-list/2003-August/msg00025.html

8. http://www.linuxinsight.com/proc_sys_vm_max_map_count.html

原文連接:http://jzhihui.iteye.com/blog/1271122

 

建議用Java 1.5以後提供的線程池ThreadPoolExecutor來管理線程資源。

相關文章
相關標籤/搜索