天天看點

java最大線程數

二、分析問題:

這個異常問題本質原因是我們建立了太多的線程,而能建立的線程數是有限制的,導緻了異常的發生。能建立的線程數的具體計算公式如下: 

(MaxProcessMemory - JVMMemory - ReservedOsMemory) / (ThreadStackSize) = Number of threads

MaxProcessMemory 指的是一個程序的最大記憶體

JVMMemory         JVM記憶體

ReservedOsMemory  保留的作業系統記憶體

ThreadStackSize      線程棧的大小

在java語言裡, 當你建立一個線程的時候,虛拟機會在JVM記憶體建立一個Thread對象同時建立一個作業系統線程,而這個系統線程的記憶體用的不是JVMMemory,而是系統中剩下的記憶體(MaxProcessMemory - JVMMemory - ReservedOsMemory)。 

結合上面例子我們來對公式說明一下: 

MaxProcessMemory 在32位的 windows下是 2G

JVMMemory   eclipse預設啟動的程式記憶體是64M

ReservedOsMemory  一般是130M左右

ThreadStackSize 32位 JDK 1.6預設的stacksize 325K左右

公式如下:

(2*1024*1024-64*1024-130*1024)/325 = 5841 

公式計算所得5841,和實踐5602基本一緻(有偏差是因為ReservedOsMemory不能很精确) 

由公式得出結論:你給JVM記憶體越多,那麼你能建立的線程越少,越容易發生java.lang.OutOfMemoryError: unable to create new native thread。 

咦,有點背我們的常理,恩,讓我們來驗證一下,依舊使用上面的測試程式,加上下面的JVM參數,測試結果如下: 

ThreadStackSize      JVMMemory                    能建立的線程數

預設的325K             -Xms1024m -Xmx1024m    i = 2655

預設的325K               -Xms1224m -Xmx1224m    i = 2072

預設的325K             -Xms1324m -Xmx1324m    i = 1753

預設的325K             -Xms1424m -Xmx1424m    i = 1435

-Xss1024k             -Xms1424m -Xmx1424m    i = 452 

完全和公式一緻。 

三、解決問題: 

1, 如果程式中有bug,導緻建立大量不需要的線程或者線程沒有及時回收,那麼必須解決這個bug,修改參數是不能解決問題的。

2, 如果程式确實需要大量的線程,現有的設定不能達到要求,那麼可以通過修改MaxProcessMemory,JVMMemory,ThreadStackSize這三個因素,來增加能建立的線程數:

a, MaxProcessMemory 使用64位作業系統

b, JVMMemory   減少JVMMemory的配置設定

c, ThreadStackSize  減小單個線程的棧大小

http://developer.51cto.com/art/201111/304193.htm

http://jzhihui.iteye.com/blog/1271122

在建立的線程數量達到31842個時,系統中無法建立任何線程。

由上面的測試結果可以看出增大堆記憶體(-Xms,-Xmx)會減少可建立的線程數量,增大線程棧記憶體(-Xss,32位系統中此參數值最小為60K)也會減少可建立的線程數量

線程數量31842的限制是是由系統可以生成的最大線程數量決定的:/proc/sys/kernel/threads-max,可其預設值是32080。修改其值為10000:echo

10000 > /proc/sys/kernel/threads-max,修改後的測試結果如下:

發現線程數量在達到32279以後,不再增長。查了一下,32位Linux系統可建立的最大pid數是32678,這個數值可以通過/proc/sys/kernel/pid_max來做修改(修改方法同threads-max),但是在32系統下這個值隻能改小,無法更大。在threads-max一定的情況下,修改pid_max對應的測試結果如下:

在Windows上的情況應該類似,不過相比Linux,Windows上可建立的線程數量可能更少。基于線程模型的伺服器總要受限于這個線程數量的限制。

總結:

JVM中可以生成的最大數量由JVM的堆記憶體大小、Thread的Stack記憶體大小、系統最大可建立的線程數量(Java線程的實作是基于底層系統的線程機制來實作的,Windows下_beginthreadex,Linux下pthread_create)三個方面影響。具體數量可以根據Java程序可以通路的最大記憶體(32位系統上一般2G)、堆記憶體、Thread的Stack記憶體來估算。

序:

在64位Linux系統(CentOS 6, 3G記憶體)下測試,發現還有一個參數是會限制線程數量:max user process(可通過ulimit

–a檢視,預設值1024,通過ulimit –u可以修改此值),這個值在上面的32位Ubuntu測試環境下并無限制。

将threads-max,pid_max,max user

process,這三個參數值都修改成100000,-Xms,-Xmx盡量小(128m,64m),-Xss盡量小(64位下最小104k,可取值128k)。事先預測在這樣的測試環境下,線程數量就隻會受限于測試環境的記憶體大小(3G),可是實際的測試結果是線程數量在達到32K(32768,建立的數量最多的時候大概是33000左右)左右時JVM是抛出警告:Attempt

to allocate stack guard pages

failed,然後出現OutOfMemoryError無法建立本地線程。檢視記憶體後發現還有很多空閑,是以應該不是記憶體容量的原因。Google此警告無果,暫時不知什麼原因,有待進一步研究。

序2:今天無意中發現文章[7],馬上試了下,果然這個因素會影響線程建立數量,按文中描述把/proc/sys/vm/max_map_count的數量翻倍,從65536變為131072,建立的線程總數量達到65000+,電腦基本要卡死(3G記憶體)…

簡單查了下這個參數的作用,在[8]中的描述如下:

“This file contains the maximum number of memory map areas a process may

have. Memory map areas are used as a side-effect of calling malloc, directly by

mmap and mprotect, and also when loading shared libraries.

While most applications need less than a thousand maps, certain programs,

particularly malloc debuggers, may consume lots of them, e.g., up to one or two

maps per allocation.

The default value is 65536.”

OK,這個問題總算完滿解決,最後總結下影響Java線程數量的因素:

Java虛拟機本身:-Xms,-Xmx,-Xss;

系統限制:

/proc/sys/kernel/pid_max,

/proc/sys/kernel/thread-max,

max_user_process(ulimit -u),

/proc/sys/vm/max_map_count。

參考資料:

1. http://blog.krecan.net/2010/04/07/how-many-threads-a-jvm-can-handle/

2.

http://www.cyberciti.biz/tips/maximum-number-of-processes-linux-26-kernel-can-handle.html

3. http://geekomatic.ch/2010/11/24/1290630420000.html

4.

http://stackoverflow.com/questions/763579/how-many-threads-can-a-java-vm-support

5. http://www.iteye.com/topic/1035818

6. http://hi.baidu.com/hexiong/blog/item/16dc9e518fb10c2542a75b3c.html

7.

https://listman.redhat.com/archives/phil-list/2003-August/msg00025.html

8. http://www.linuxinsight.com/proc_sys_vm_max_map_count.html

原文連結:http://jzhihui.iteye.com/blog/1271122

繼續閱讀