天天看點

Java技術專區-虛拟機系列-JVM中可生成的最大Thread數量

  最近想測試下Openfire下的最大并發數,需要開大量線程來模拟用戶端。對于一個JVM執行個體到底能開多少個線程一直心存疑惑,是以打算實際測試下,簡單google了把,找到影響線程數量的因素有下面幾個:

-Xms intial java heap size
-Xmx maximum java heap size
-Xss the stack size for each thread
系統限制 系統最大可開線程數

Java代碼 

import java.util.concurrent.atomic.AtomicInteger;  

public class TestThread extends Thread {  

    private static final AtomicInteger count = new AtomicInteger();  

    public static void main(String[] args) {  

        while (true)  

            (new TestThread()).start();  

    }  

    @Override  

    public void run() {  

        System.out.println(count.incrementAndGet());  

        while (true)  

            try {  

                Thread.sleep(Integer.MAX_VALUE);  

            } catch (InterruptedException e) {  

                break;  

            }  

    }  

}  
      

  

測試環境:

系統:Ubuntu 10.04 Linux Kernel 2.6 (32位)

記憶體:2G

JDK:1.7

測試結果:

  • Ø  不考慮系統限制
結果
1024m 1024k 1737
64k 26077
512m 31842
256m

在建立的線程數量達到31842個時,系統中無法建立任何線程。

由上面的測試結果可以看出增大堆記憶體(-Xms,-Xmx)會減少可建立的線程數量,增大線程棧記憶體(-Xss,32位系統中此參數值最小為60K)也會減少可建立的線程數量。
  • Ø  結合系統限制

  線程數量31842的限制是是由系統可以生成的最大線程數量決定的:/proc/sys/kernel/threads-max,可其預設值是32080。修改其值為10000:echo 10000 > /proc/sys/kernel/threads-max,修改後的測試結果如下:

9761
  這樣的話,是不是意味着可以配置盡量多的線程?再做修改:echo 1000000 > /proc/sys/kernel/threads-max,修改後的測試結果如下:
32279
128m

     發現線程數量在達到32279以後,不再增長。查了一下,32位Linux系統可建立的最大pid數是32678,這個數值可以通過/proc/sys/kernel/pid_max來做修改(修改方法同threads-max),但是在32系統下這個值隻能改小,無法更大。

在threads-max一定的情況下,修改pid_max對應的測試結果如下:

pid_max
1000 582
10000 9507

  在Windows上的情況應該類似,不過相比Linux,Windows上可建立的線程數量可能更少。基于線程模型的伺服器總要受限于這個線程數量的限制。

總結:

         JVM中可以生成的最大數量由JVM的堆記憶體大小、Thread的Stack記憶體大小、系統最大可建立的線程數量(Java線程的實作是基于底層系統的線程機制來實作的,Windows下_beginthreadex,Linux下pthread_create)三個方面影響。

    具體數量可以根據Java程序可以通路的最大記憶體(32位系統上一般2G)、堆記憶體、Thread的Stack記憶體來估算。

序:

         在64位Linux系統(CentOS 6, 3G記憶體)下測試,發現還有一個參數是會限制線程數量:max user process(可通過ulimit –a檢視,預設值1024,通過ulimit –u可以修改此值),這個值在上面的32位Ubuntu測試環境下并無限制。

         将threads-max,pid_max,max user process,這三個參數值都修改成100000,-Xms,-Xmx盡量小(128m,64m),-Xss盡量小(64位下最小104k,可取值128k)。

   事先預測在這樣的測試環境下,線程數量就隻會受限于測試環境的記憶體大小(3G),可是實際的測試結果是線程數量在達到32K(32768,建立的數量最多的時候大概是33000左右)左右時JVM是抛出警告:Attempt to allocate stack guard pages failed,然

後出現OutOfMemoryError無法建立本地線程。檢視記憶體後發現還有很多空閑,是以應該不是記憶體容量的原因。Google此警告無果,暫時不知什麼原因,有待進一步研究。

序2:

         今天無意中發現文章[7],馬上試了下,果然這個因素會影響線程建立數量,按文中描述把/proc/sys/vm/max_map_count的數量翻倍,從65536變為131072,建立的線程總數量達到65000+,電腦基本要卡死(3G記憶體)… 簡單查了下這個參數的作用,在[8]中的描述如下:

“This file contains the maximum number of memory map areas a process may have. Memory map areas are used as a side-effect of calling malloc, directly by mmap and mprotect, and also when loading shared libraries.

While most applications need less than a thousand maps, certain programs, particularly malloc debuggers, may consume lots of them, e.g., up to one or two maps per allocation.

The default value is 65536.”

OK,這個問題總算完滿解決,最後總結下影響Java線程數量的因素:

Java虛拟機本身:-Xms,-Xmx,-Xss;

系統限制:

/proc/sys/kernel/pid_max,

/proc/sys/kernel/thread-max,

max_user_process(ulimit -u),

/proc/sys/vm/max_map_count。

參考資料:

  1. http://blog.krecan.net/2010/04/07/how-many-threads-a-jvm-can-handle/
  2. http://www.cyberciti.biz/tips/maximum-number-of-processes-linux-26-kernel-can-handle.html
  3. http://geekomatic.ch/2010/11/24/1290630420000.html
  4. http://stackoverflow.com/questions/763579/how-many-threads-can-a-java-vm-support
  5. http://www.iteye.com/topic/1035818
  6. http://hi.baidu.com/hexiong/blog/item/16dc9e518fb10c2542a75b3c.html
  7. https://listman.redhat.com/archives/phil-list/2003-August/msg00025.html

8.     http://www.linuxinsight.com/proc_sys_vm_max_map_count.html

極限就是為了超越而存在的