[轉]Java內存溢出詳解及解決方案

原文地址：http://blog.csdn.net/xianmiao2009/article/details/49254391

內存溢出與數據庫鎖表的問題，能夠說是開發人員的噩夢，通常的程序異常，老是能夠知道在何時或是在什麼操做步驟上出現了異常，並且根據堆棧信息也很容易定位到程序中是某處出現了問題。內存溢出與鎖表則否則，通常現象是操做通常時間後系統愈來愈慢，直到死機，但並不能明確是在什麼操做上出現的，發生的時間點也沒有規律，查看日誌或查看數據庫也不能定位出問題的代碼。

更嚴重的是內存溢出與數據庫鎖表在系統開發和單元測試階段並不容易被發現，當系統正式上線通常時間後，操做的併發量上來了，數據也積累了一些，系統就容易出現內存溢出或是鎖表的現象，而此時系統又不能隨意停機或重啓，爲修正BUG帶來很大的困難。

本文以筆者開發和支持的多個項目爲例，與你們分享在開發過程當中遇到的Java內存溢出和數據庫鎖表的檢測和處理解決過程。

2．內存溢出的分析

內存溢出是指應用系統中存在沒法回收的內存或使用的內存過多，最終使得程序運行要用到的內存大於虛擬機能提供的最大內存。爲了解決Java中內存溢出問題，咱們首先必須瞭解Java是如何管理內存的。Java的內存管理就是對象的分配和釋放問題。在Java中，內存的分配是由程序完成的，而內存的釋放是由垃圾收集器(Garbage Collection，GC)完成的，程序員不須要經過調用GC函數來釋放內存，由於不一樣的JVM實現者可能使用不一樣的算法管理GC，有的是內存使用到達必定程度時，GC纔開始工做，也有定時執行的，有的是中斷式執行GC。但GC只能回收無用而且再也不被其它對象引用的那些對象所佔用的空間。Java的內存垃圾回收機制是從程序的主要運行對象開始檢查引用鏈，當遍歷一遍後發現沒有被引用的孤立對象就做爲垃圾回收。

引發內存溢出的緣由有不少種，常見的有如下幾種：

l         內存中加載的數據量過於龐大，如一次從數據庫取出過多數據；

l         集合類中有對對象的引用，使用完後未清空，使得JVM不能回收；

l         代碼中存在死循環或循環產生過多重複的對象實體；

l         使用的第三方軟件中的BUG；

l         啓動參數內存值設定的太小；

3．內存溢出的解決

內存溢出雖然很棘手，但也有相應的解決辦法，能夠按照從易到難，一步步的解決。

第一步，就是修改JVM啓動參數，直接增長內存。這一點看上去彷佛很簡單，但很容易被忽略。JVM默承認以使用的內存爲64M，Tomcat默承認以使用的內存爲128MB，對於稍複雜一點的系統就會不夠用。在某項目中，就由於啓動參數使用的默認值，常常報「OutOfMemory」錯誤。所以，-Xms，-Xmx參數必定不要忘記加。

第二步，檢查錯誤日誌，查看「OutOfMemory」錯誤前是否有其它異常或錯誤。在一個項目中，使用兩個數據庫鏈接，其中專用於發送短信的數據庫鏈接使用DBCP鏈接池管理，用戶爲不將短信發出，有意將數據庫鏈接用戶名改錯，使得日誌中有許多數據庫鏈接異常的日誌，一段時間後，就出現「OutOfMemory」錯誤。經分析，這是因爲DBCP鏈接池BUG引發的，數據庫鏈接不上後，沒有將鏈接釋放，最終使得DBCP報「OutOfMemory」錯誤。通過修改正確數據庫鏈接參數後，就沒有再出現內存溢出的錯誤。

查看日誌對於分析內存溢出是很是重要的，經過仔細查看日誌，分析內存溢出前作過哪些操做，能夠大體定位有問題的模塊。

第三步，安排有經驗的編程人員對代碼進行走查和分析，找出可能發生內存溢出的位置。重點排查如下幾點：

l         檢查代碼中是否有死循環或遞歸調用。

l         檢查是否有大循環重複產生新對象實體。

l         檢查對數據庫查詢中，是否有一次得到所有數據的查詢。通常來講，若是一次取十萬條記錄到內存，就可能引發內存溢出。這個問題比較隱蔽，在上線前，數據庫中數據較少，不容易出問題，上線後，數據庫中數據多了，一次查詢就有可能引發內存溢出。所以對於數據庫查詢儘可能採用分頁的方式查詢。

l         檢查List、MAP等集合對象是否有使用完後，未清除的問題。List、MAP等集合對象會始終存有對對象的引用，使得這些對象不能被GC回收。

第四步，使用內存查看工具動態查看內存使用狀況。某個項目上線後，每次系統啓動兩天後，就會出現內存溢出的錯誤。這種狀況通常是代碼中出現了緩慢的內存泄漏，用上面三個步驟解決不了，這就須要使用內存查看工具了。

內存查看工具備許多，比較有名的有：Optimizeit Profiler、JProbe Profiler、JinSight和Java1.5的Jconsole等。它們的基本工做原理大同小異，都是監測Java程序運行時全部對象的申請、釋放等動做，將內存管理的全部信息進行統計、分析、可視化。開發人員能夠根據這些信息判斷程序是否有內存泄漏問題。通常來講，一個正常的系統在其啓動完成後其內存的佔用量是基本穩定的，而不該該是無限制的增加的。持續地觀察系統運行時使用的內存的大小，能夠看到在內存使用監控窗口中是基本規則的鋸齒形的圖線，若是內存的大小持續地增加，則說明系統存在內存泄漏問題。經過間隔一段時間取一次內存快照，而後對內存快照中對象的使用與引用等信息進行比對與分析，能夠找出是哪一個類的對象在泄漏。

經過以上四個步驟的分析與處理，基本能處理內存溢出的問題。固然，在這些過程當中也須要至關的經驗與敏感度，須要在實際的開發與調試過程當中不斷積累。

整體上來講，產生內存溢出是因爲代碼寫的很差形成的，所以提升代碼的質量是最根本的解決辦法。有的人認爲先把功能實現，有BUG時再在測試階段進行修正，這種想法是錯誤的。正如一件產品的質量是在生產製造的過程當中決定的，而不是質量檢測時決定的，軟件的質量在設計與編碼階段就已經決定了，測試只是對軟件質量的一個驗證，由於測試不可能找出軟件中全部的BUG。

 

--------------------------------------------------------------------------------------------------------------------------------

 

緣由有不少種，好比：

1.數據量過於龐大；死循環 ；靜態變量和靜態方法過多；遞歸；沒法肯定是否被引用的對象；

2.虛擬機不回收內存（內存泄漏）；

    說白了就是程序運行要用到的內存大於虛擬機能提供的最大內存就發生內存溢出了。 內存溢出的問題要看業務和系統大小而定，對於某些系統可能內存溢出不常見，但某些系統仍是很常見的解決的方法，

一個是優化程序代碼，若是業務龐大，邏輯複雜，儘可能減小全局變量的引用，讓程序使用完變量的時候釋放該引用可以讓垃圾回收器回收，釋放資源。

二就是物理解決，增大物理內存，而後經過：-Xms256m -Xmx256m -XX:MaxNewSize=256m -XX:MaxPermSize=256m的修改

1、內存溢出類型 

1 、 java.lang.OutOfMemoryError: PermGen space

JVM 管理兩種類型的內存，堆和非堆。堆是給開發人員用的上面說的就是，是在 JVM 啓動時建立；非堆是留給 JVM 本身用的，用來存放類的信息的。它和堆不一樣，運行期內 GC 不會釋放空間。若是 web app 用了大量的第三方 jar 或者應用有太多的 class 文件而剛好 MaxPermSize 設置較小，超出了也會致使這塊內存的佔用過多形成溢出，或者 tomcat 熱部署時侯不會清理前面加載的環境，只會將 context 更改成新部署的，非堆存的內容就會愈來愈多。

2 、 java.lang.OutOfMemoryError: Java heap space

第一種狀況是個補充，主要存在問題就是出如今這個狀況中。其默認空間 ( 即 -Xms) 是物理內存的 1/64 ，最大空間 (-Xmx) 是物理內存的 1/4 。若是內存剩餘不到 40 ％， JVM 就會增大堆到 Xmx 設置的值，內存剩餘超過 70 ％， JVM 就會減少堆到 Xms 設置的值。因此服務器的 Xmx 和 Xms 設置通常應該設置相同避免每次 GC 後都要調整虛擬機堆的大小。假設物理內存無限大，那麼 JVM 內存的最大值跟操做系統有關，通常 32 位機是 1.5g 到 3g 之間，而 64 位的就不會有限制了。

注意：若是 Xms 超過了 Xmx 值，或者堆最大值和非堆最大值的總和超過了物理內存或者操做系統的最大限制都會引發服務器啓動不起來。

垃圾回收 GC 的角色

JVM 調用 GC 的頻度仍是很高的，主要兩種狀況下進行垃圾回收：

當應用程序線程空閒；另外一個是 java 內存堆不足時，會不斷調用 GC ，若連續回收都解決不了內存堆不足的問題時，就會報 out of memory 錯誤。由於這個異常根據系統運行環境決定，因此沒法預期它什麼時候出現。

根據 GC 的機制，程序的運行會引發系統運行環境的變化，增長 GC 的觸發機會。

爲了不這些問題，程序的設計和編寫就應避免垃圾對象的內存佔用和 GC 的開銷。顯示調用 System.GC() 只能建議 JVM 須要在內存中對垃圾對象進行回收，但不是必須立刻回收，

一個是並不能解決內存資源耗空的局面，另外也會增長 GC 的消耗。

2、 JVM 內存區域組成 

簡單的說 java中的堆和棧

java把內存分兩種：一種是棧內存，另外一種是堆內存

1。在函數中定義的基本類型變量和對象的引用變量都在函數的棧內存中分配；

2。堆內存用來存放由 new建立的對象和數組

在函數（代碼塊）中定義一個變量時， java就在棧中爲這個變量分配內存空間，當超過變量的做用域後， java會自動釋放掉爲該變量所分配的內存空間；在堆中分配的內存由 java虛擬機的自動垃圾回收器來管理

堆的優點是能夠動態分配內存大小，生存期也沒必要事先告訴編譯器，由於它是在運行時動態分配內存的。缺點就是要在運行時動態分配內存，存取速度較慢；

棧的優點是存取速度比堆要快，缺點是存在棧中的數據大小與生存期必須是肯定的無靈活 性。

java 堆分爲三個區： New 、 Old 和 Permanent

GC 有兩個線程：

新建立的對象被分配到 New 區，當該區被填滿時會被 GC 輔助線程移到 Old 區，當 Old 區也填滿了會觸發 GC 主線程遍歷堆內存裏的全部對象。 Old 區的大小等於 Xmx 減去 -Xmn

java棧存放

棧調整：參數有 +UseDefaultStackSize -Xss256K，表示每一個線程可申請 256k的棧空間

每一個線程都有他本身的 Stack

3、 JVM如何設置虛擬內存 

提示：在 JVM中若是 98％的時間是用於 GC且可用的 Heap size 不足 2％的時候將拋出此異常信息。

提示： Heap Size 最大不要超過可用物理內存的 80％，通常的要將 -Xms和 -Xmx選項設置爲相同，而 -Xmn爲 1/4的 -Xmx值。

提示： JVM初始分配的內存由 -Xms指定，默認是物理內存的 1/64； JVM最大分配的內存由 -Xmx指定，默認是物理內存的 1/4。

默認空餘堆內存小於 40%時， JVM就會增大堆直到 -Xmx的最大限制；空餘堆內存大於 70%時， JVM會減小堆直到 -Xms的最小限制。所以服務器通常設置 -Xms、 -Xmx相等以免在每次 GC 後調整堆的大小。

提示：假設物理內存無限大的話， JVM內存的最大值跟操做系統有很大的關係。

簡單的說就 32位處理器雖然可控內存空間有 4GB,可是具體的操做系統會給一個限制，

這個限制通常是 2GB-3GB（通常來講 Windows系統下爲 1.5G-2G， Linux系統下爲 2G-3G）， 而 64bit以上的處理器就不會有限制了

提示：注意：若是 Xms超過了 Xmx值，或者堆最大值和非堆最大值的總和超過了物理內 存或者操做系統的最大限制都會引發服務器啓動不起來。

提示：設置 NewSize、 MaxNewSize相等， 「new」的大小最好不要大於 「old」的一半，緣由是 old區若是不夠大會頻繁的觸發 「主 」 GC ，大大下降了性能

JVM使用 -XX:PermSize設置非堆內存初始值，默認是物理內存的 1/64；

由 XX:MaxPermSize設置最大非堆內存的大小，默認是物理內存的 1/4。

解決方法：手動設置 Heap size

修改 TOMCAT_HOME/bin/catalina.bat

在「 echo 「Using CATALINA_BASE: $CATALINA_BASE」」上面加入如下行：

JAVA_OPTS=」-server -Xms800m -Xmx800m -XX:MaxNewSize=256m」   

4、性能檢查工具使用 

定位內存泄漏：

JProfiler 工具主要用於檢查和跟蹤系統（限於 Java 開發的）的性能。 JProfiler 能夠經過時時的監控系統的內存使用狀況，隨時監視垃圾回收，線程運行情況等手段，從而很好的監視 JVM 運行狀況及其性能。

 

1. 應用服務器內存長期不合理佔用，內存常常處於高位佔用，很難回收到低位；

2. 應用服務器極爲不穩定，幾乎每兩天從新啓動一次，有時甚至天天從新啓動一次；

3. 應用服務器常常作 Full GC(Garbage Collection)，並且時間很長，大約須要 30-40秒，應用服務器在作 Full GC的時候是不響應客戶的交易請求的，很是影響系統性能。

由於開發環境和產品環境會有不一樣，致使該問題發生有時會在產品環境中發生， 一般可使用工具跟蹤系統的內存使用狀況，在有些個別狀況下或許某個時刻確實 是使用了大量內存致使 out of memory，這時應繼續跟蹤看接下來是否會有降低，

若是一直居高不下這確定就由於程序的緣由致使內存泄漏。

5、不健壯代碼的特徵及解決辦法 

1 、儘早釋放無用對象的引用。好的辦法是使用臨時變量的時候，讓引用變量在退出活動域後，自動設置爲 null ，暗示垃圾收集器來收集該對象，防止發生內存泄露。

對於仍然有指針指向的實例， jvm 就不會回收該資源 , 由於垃圾回收會將值爲 null 的對象做爲垃圾，提升 GC 回收機制效率；

2 、咱們的程序裏不可避免大量使用字符串處理，避免使用 String ，應大量使用 StringBuffer ，每個 String 對象都得獨立佔用內存一塊區域；

String str = 「aaa」;   

  

String str2 = 「bbb」;   

  

String str3 = str + str2;// 假如執行這次以後 str ,str2 之後再不被調用 , 那它就會被放在內存中等待 Java 的 gc 去回收 , 程序內過多的出現這樣的狀況就會報上面的那個錯誤 , 建議在使用字符串時能使用 StringBuffer 就不要用 String, 這樣能夠省很多開銷；   

3 、儘可能少用靜態變量，由於靜態變量是全局的， GC 不會回收的；

4 、避免集中建立對象尤爲是大對象， JVM 會忽然須要大量內存，這時必然會觸發 GC 優化系統內存環境；顯示的聲明數組空間，並且申請數量還極大。

這是一個案例想定供你們警惕:

使用jspsmartUpload做文件上傳,如今運行過程當中常常出現java.outofMemoryError的錯誤，用top命令看看進程使用狀況，發現內存不足2M，花了很長時間，發現是jspsmartupload的問題。把jspsmartupload組件的源碼文件（class文件）反編譯成Java文件，如夢方醒：

m_totalBytes = m_request.getContentLength();        

m_binArray = new byte[m_totalBytes];      

變量m_totalBytes表示用戶上傳的文件的總長度，這是一個很大的數。若是用這樣大的數去聲明一個byte數組，並給數組的每一個元素分配內存空間，並且m_binArray數組不能立刻被釋放，JVM的垃圾回收確實有問題，致使的結果就是內存溢出。

jspsmartUpload爲什末要這樣做，有他的緣由，根據RFC1867的http上傳標準，獲得一個文件流，並不知道文件流的長度。設計者若是想文件的長度，只有操做servletinputstream一次才知道，由於任何流都不知道大小。只有知道文件長度了，才能夠限制用戶上傳文件的長度。爲了省去這個麻煩，jspsmartUpload設計者直接在內存中打開文件，判斷長度是否符合標準，符合就寫到服務器的硬盤。這樣產生內存溢出，這只是個人一個猜想而已。

因此編程的時候，不要在內存中申請大的空間，由於web服務器的內存有限，而且儘量的使用流操做，例如

byte[] mFileBody = new byte[512];   

         Blob vField= rs.getBlob("FileBody");   

      InputStream instream=vField.getBinaryStream();   

      FileOutputStream fos=new FileOutputStream(saveFilePath+CFILENAME);   

         int b;   

                      while( (b =instream.read(mFileBody)) != -1){   

                        fos.write(mFileBody,0,b);   

                         }   

        fos.close();   

      instream.close();  

5 、儘可能運用對象池技術以提升系統性能；生命週期長的對象擁有生命週期短的對象時容易引起內存泄漏，例如大集合對象擁有大數據量的業務對象的時候，能夠考慮分塊進行處理，而後解決一塊釋放一塊的策略。

6 、不要在常常調用的方法中建立對象，尤爲是忌諱在循環中建立對象。能夠適當的使用 hashtable ， vector 建立一組對象容器，而後從容器中去取那些對象，而不用每次 new 以後又丟棄

7 、通常都是發生在開啓大型文件或跟數據庫一次拿了太多的數據，形成 Out Of Memory Error 的情況，這時就大概要計算一下數據量的最大值是多少，而且設定所需最小及最大的內存空間值。