Java中的OutOfMemoryError的各類狀況及解決和JVM內存結構

在JVM中內存一共有3種：Heap（堆內存），Non-Heap（非堆內存） [3]和Native（本地內存）。 [1]

堆內存是運行時分配全部類實例和數組的一塊內存區域。非堆內存包含方法區和JVM內部處理或優化所需的內存，存放有類結構（如運行時常量池、字段及方法結構，以及方法和構造函數代碼）。本地內存是由操做系統管理的虛擬內存。當一個應用內存不足時就會拋出java.lang.OutOfMemoryError 異常。 [1]

問題	表象	診斷工具
內存不足	OutOfMemoryError	Java Heap Analysis Tool(jhat) [4] Eclipse Memory Analyzer(mat) [5]
內存泄漏	使用內存增加，頻繁GC	Java Monitoring and Management Console(jconsole) [6] JVM Statistical Monitoring Tool(jstat) [7]
	一個類有大量的實例	Memory Map(jmap) - "jmap -histo" [8]
	對象被誤引用	jconsole [6] 或 jmap -dump + jhat [8][4]
Finalizers	對象等待結束	jconsole [6] 或 jmap -dump + jhat [8][4]

OutOfMemoryError在開發過程當中是司空見慣的，遇到這個錯誤，新手程序員都知道從兩個方面入手來解決：一是排查程序是否有BUG致使內存泄漏；二是調整JVM啓動參數增大內存。OutOfMemoryError有好幾種狀況，每次遇到這個錯誤時，觀察OutOfMemoryError後面的提示信息，就能夠發現不一樣之處，如：

java.lang.OutOfMemoryError: Java heap space
java.lang.OutOfMemoryError: unable to create new native thread
java.lang.OutOfMemoryError: PermGen space
java.lang.OutOfMemoryError: Requested array size exceeds VM limit

雖然都叫OutOfMemoryError，但每種錯誤背後的成因是不同的，解決方法也要視狀況而定，不能一律而論。只有深刻了解JVM的內存結構並仔細分析錯誤信息，纔有可能作到對症下藥，手到病除。

JVM規範

JVM規範對Java運行時的內存劃定了幾塊區域（詳見這裏），有：JVM棧（Java Virtual Machine Stacks）、堆（Heap）、方法區（Method Area）、常量池（Runtime Constant Pool）、本地方法棧（Native Method Stacks），但對各塊區域的內存佈局和地址空間卻沒有明確規定，而留給各JVM廠商發揮的空間。

HotSpot JVM

Sun自家的HotSpot JVM實現對堆內存結構有相對明確的說明。按照HotSpot JVM的實現，堆內存分爲3個代：Young Generation、Old(Tenured) Generation、Permanent Generation。衆所周知，GC（垃圾收集）就是發生在堆內存這三個代上面的。Young用於分配新的Java對象，其又被分爲三個部分：Eden Space和兩塊Survivor Space(稱爲From和To)，Old用於存放在GC過程當中從Young Gen中存活下來的對象，Permanent用於存放JVM加載的class等元數據。詳情參見HotSpot內存管理白皮書。堆的佈局圖示以下：

根據這些信息，咱們能夠推導出JVM規範的內存分區和HotSpot實現中內存區域的對應關係：JVM規範的Heap對應到Young和Old Generation，方法區和常量池對應到Permanent Generation。對於Stack內存，HotSpot實現也沒有詳細說明，但HotSpot白皮書上提到，Java線程棧是用宿主操做系統的棧和線程模型來表示的，Java方法和native方法共享相同的棧。所以，能夠認爲在HotSpot中，JVM棧和本地方法棧是一回事。

操做系統

因爲一個JVM進程首先是一個操做系統進程，所以會遵循操做系統進程地址空間的規定。32位系統的地址空間爲4G，即最多表示4GB的虛擬內存。在Linux系統中，高地址的1G空間（即0xC0000000_{0xFFFFFFFF）被系統內核佔用，低地址的3G空間（即0×00000000}0xBFFFFFFF）爲用戶程序所使用（顯然JVM進程運行在這3G的地址空間中）。這3G的地址空間從低到高又分爲多個段；Text段用於存放程序二進制代碼；Data段用於存放編譯時已初始化的靜態變量；BSS段用於存放未初始化的靜態變量；Heap即堆，用於動態內存分配的數據結構，C語言的malloc函數申請的內存便是今後處分配的，Java的new實例化的對象也是自此分配。不一樣於前面三個段，Heap空間是可變的，其上界由低地址向高地址增加。內存映射區，加載的動態連接庫位於這個區中；Stack即棧空間，線程的執行便是佔用棧內存，棧空間也是可變的，但它是經過下界從高地址向低地址移動而增加的。詳情參見這裏。圖示以下：

JVM自己是由native code所編寫的，因此JVM進程一樣具備Text/Data/BSS/Heap/MemoryMapping/Stack等內存段。而Java語言的Heap應當是創建在操做系統進程的Heap之上的，Java語言的Stack應該也是創建操做系統進程Stack之上的。 綜合HotSpot的內存區域和操做系統進程的地址空間，能夠大體獲得下列圖示：

Java線程的內存是位於JVM或操做系統的棧（Stack）空間中，不一樣於對象——是位於堆（Heap）中。這是不少新手程序員容易誤解的地方。注意，「Java線程的內存」這個用詞不是指Java.lang.Thread對象的內存，java.lang.Thread對象自己是在Heap中分配的，當調用start()方法以後，JVM會建立一個執行單元，最終會建立一個操做系統的native thread來執行，而這個執行單元或native thread是使用Stack內存空間的。

通過上述鋪墊，能夠得知，JVM進程的內存大體分爲Heap空間和Stack空間兩部分。Heap又分爲Young、Old、Permanent三個代。Stack分爲Java方法棧和native方法棧（不作區分），在Stack內存區中，能夠建立多個線程棧，每一個線程棧佔據Stack區中一小部份內存，線程棧是一個LIFO數據結構，每調用一個方法，會在棧頂建立一個Frame，方法返回時，相應的Frame會從棧頂移除（經過移動棧頂指針）。在這每一部份內存中，都有可能會出現溢出錯誤。回到開頭的OutOfMemoryError，下面逐個說明錯誤緣由和解決方法（每一個OutOfMemoryError都有多是程序BUG致使，所以解決方法不包括對BUG的排查）。

OutOfMemoryError

1.java.lang.OutOfMemoryError: Java heap space
緣由：Heap內存溢出，意味着Young和Old generation的內存不夠。
解決：調整java啓動參數 -Xms -Xmx 來增長Heap內存。

堆內存溢出時，首先判斷當前最大內存是多少（參數：-Xmx 或 -XX:MaxHeapSize=），能夠經過命令 jinfo -flag MaxHeapSize 查看運行中的JVM的配置，若是該值已經較大則應經過 mat 之類的工具查找問題，或 jmap -histo查找哪一個或哪些類佔用了比較多的內存。參數-verbose:gc(-XX:+PrintGC) -XX:+PrintGCDetails能夠打印GC相關的一些數據。若是問題比較難排查也能夠經過參數-XX:+HeapDumpOnOutOfMemoryError在OOM以前Dump內存數據再進行分析。此問題也能夠經過histodiff打印屢次內存histogram以前的差值，有助於查看哪些類過多被實例化，若是過多被實例化的類被定位到後能夠經過btrace再跟蹤。
下面代碼可再現該異常：
List<String> list = new ArrayList<String>();
while(true) list.add(new String("Consume more memory!"));

2.java.lang.OutOfMemoryError: unable to create new native thread
緣由：Stack空間不足以建立額外的線程，要麼是建立的線程過多，要麼是Stack空間確實小了。
解決：因爲JVM沒有提供參數設置總的stack空間大小，但能夠設置單個線程棧的大小；而系統的用戶空間一共是3G，除了Text/Data/BSS/MemoryMapping幾個段以外，Heap和Stack空間的總量有限，是此消彼長的。所以遇到這個錯誤，能夠經過兩個途徑解決：1.經過-Xss啓動參數減小單個線程棧大小，這樣便能開更多線程（固然不能過小，過小會出現StackOverflowError）；2.經過-Xms -Xmx 兩參數減小Heap大小，將內存讓給Stack（前提是保證Heap空間夠用）。

在JVM中每啓動一個線程都會分配一塊本地內存，用於存放線程的調用棧，該空間僅在線程結束時釋放。當沒有足夠本地內存建立線程時就會出現該錯誤。經過如下代碼能夠很容易再現該問題： [2]
 while(true){
    new Thread(new Runnable(){
        public void run() {
            try {
                Thread.sleep(60*60*1000);
            } catch(InterruptedException e) { }        
        }    
    }).start();
}

3.java.lang.OutOfMemoryError: PermGen space
緣由：Permanent Generation空間不足，不能加載額外的類。
解決：調整-XX:PermSize= -XX:MaxPermSize= 兩個參數來增大PermGen內存。通常狀況下，這兩個參數不要手動設置，只要設置-Xmx足夠大便可，JVM會自行選擇合適的PermGen大小。

PermGen space即永久代，是非堆內存的一個區域。主要存放的數據是類結構及調用了intern()的字符串。
List<Class<?>> classes = new ArrayList<Class<?>>();
while(true){
    MyClassLoader cl = new MyClassLoader();
    try{
        classes.add(cl.loadClass("Dummy"));
    }catch (ClassNotFoundException e) {
        e.printStackTrace();
    }
}
類加載的日誌能夠經過btrace跟蹤類的加載狀況：
import com.sun.btrace.annotations.*;
import static com.sun.btrace.BTraceUtils.*;

@BTrace
public class ClassLoaderDefine {

    @SuppressWarnings("rawtypes")
    @OnMethod(clazz = "+java.lang.ClassLoader", method = "defineClass", location = @Location(Kind.RETURN))
    public static void onClassLoaderDefine(@Return Class cl) {
        println("=== java.lang.ClassLoader#defineClass ===");
        println(Strings.strcat("Loaded class: ", Reflective.name(cl)));
        jstack(10);
    }
}
除了btrace也能夠打開日誌加載的參數來查看加載了哪些類，能夠把參數-XX:+TraceClassLoading打開，或使用參數-verbose:class（-XX:+TraceClassLoading, -XX:+TraceClassUnloading），在日誌輸出中便可看到哪些類被加載到Java虛擬機中。該參數也能夠經過jflag的命令java -jar jflagall.jar -flag +ClassVerbose動態打開-verbose:class。

下面是一個使用了String.intern()的例子： 

List<String> list = new ArrayList<String>(); int i=0; while(true) list.add(("Consume more memory!"+(i++)).intern());

你能夠經過如下btrace腳本查找該類調用：

import com.sun.btrace.annotations.*; import static com.sun.btrace.BTraceUtils.*; @BTrace public class StringInternTrace { @OnMethod(clazz = "/.*/", method = "/.*/", location = @Location(value = Kind.CALL, clazz = "java.lang.String", method = "intern")) public static void m(@ProbeClassName String pcm, @ProbeMethodName String probeMethod, @TargetInstance Object instance) { println(strcat(pcm, strcat("#", probeMethod))); println(strcat(">>>> ", str(instance))); } }

4.java.lang.OutOfMemoryError: Requested array size exceeds VM limit
緣由：這個錯誤比較少見（試着new一個長度1億的數組看看），一樣是因爲Heap空間不足。若是須要new一個如此之大的數組，程序邏輯多半是不合理的。
解決：修改程序邏輯吧。或者也能夠經過-Xmx來增大堆內存。

詳細信息表示應用申請的數組大小已經超過堆大小。如應用程序申請512M大小的數組，但堆大小隻有256M，這裏會拋出OutOfMemoryError，由於此時沒法突破虛擬機限制分配新的數組。在大多少狀況下是堆內存分配的太小，或是應用嘗試分配一個超大的數組，如應用使用的算法計算了錯誤的大小。

5.在GC花費了大量時間，卻僅回收了少許內存時，也會報出OutOfMemoryError，我只遇到過一兩次。當使用-XX:+UseParallelGC或-XX:+UseConcMarkSweepGC收集器時，在上述狀況下會報錯，在HotSpot GC Turning文檔上有說明：
The parallel(concurrent) collector will throw an OutOfMemoryError if too much time is being spent in garbage collection: if more than 98% of the total time is spent in garbage collection and less than 2% of the heap is recovered, an OutOfMemoryError will be thrown.
對這個問題，一是須要進行GC turning，二是須要優化程序邏輯。

6.java.lang.StackOverflowError
緣由：這也內存溢出錯誤的一種，即線程棧的溢出，要麼是方法調用層次過多（好比存在無限遞歸調用），要麼是線程棧過小。
解決：優化程序設計，減小方法調用層次；調整-Xss參數增長線程棧大小。

7.java.lang.OutOfMemoryError: request bytes for . Out of swap space?

本地內存分配失敗。一個應用的Java Native Interface(JNI)代碼、本地庫及Java虛擬機都從本地堆分配內存分配空間。當從本地堆分配內存失敗時拋出OutOfMemoryError異常。例如：當物理內存及交換分區都用完後，再次嘗試從本地分配內存時也會拋出OufOfMemoryError異常。

8. java.lang.OutOfMemoryError: (Native method)

若是異常的詳細信息是 (Native method) 且一個線程堆棧被打印，同時最頂端的楨是本地方法，該異常代表本地方法遇到了一個內存分配問題。與前面一種異常相比，他們的差別是內存分配失敗是JNI或本地方法發現或是Java虛擬機發現。

9.java.lang.OutOfMemoryError: Direct buffer memory

　　即從Direct Memory分配內存失敗，Direct Buffer對象不是分配在堆上，是在Direct Memory分配，且不被GC直接管理的空間（但Direct Buffer的Java對象是歸GC管理的，只要GC回收了它的Java對象，操做系統纔會釋放Direct Buffer所申請的空間）。經過-XX:MaxDirectMemorySize=能夠設置Direct內存的大小。

List<ByteBuffer> list = new ArrayList<ByteBuffer>(); while(true) list.add(ByteBuffer.allocateDirect(10000000));

10. java.lang.OutOfMemoryError: GC overhead limit exceeded

JDK6新增錯誤類型。當GC爲釋放很小空間佔用大量時間時拋出。通常是由於堆過小。致使異常的緣由：沒有足夠的內存。能夠經過參數-XX:-UseGCOverheadLimit關閉這個特性。

11. java.lang.OutOfMemoryError: request <size> bytes for <reason>. Out of swap space?

本地內存分配失敗。一個應用的Java Native Interface(JNI)代碼、本地庫及Java虛擬機都從本地堆分配內存分配空間。當從本地堆分配內存失敗時拋出OutOfMemoryError異常。例如：當物理內存及交換分區都用完後，再次嘗試從本地分配內存時也會拋出OufOfMemoryError異常。

12. java.lang.OutOfMemoryError: (Native method)

若是異常的詳細信息是 (Native method) 且一個線程堆棧被打印，同時最頂端的楨是本地方法，該異常代表本地方法遇到了一個內存分配問題。與前面一種異常相比，他們的差別是內存分配失敗是JNI或本地方法發現或是Java虛擬機發現。

關注公衆號:java寶典