淺談數據庫、JVM、緩存、SQL等性能調優方法和原則

性能優化基本是BAT等一線互聯網公司程序員必備的技能，如下爲你們完整揭曉性能完整的優化方案和方法：包含web網站調優、數據庫、JVM調優、架構調優等方案。

第一：Web網站調優

一、儘量減小HTTP請求：圖片合併 （css sprites），Js腳本文件合併、css文件合併。

二、減小DNS查詢

三、將css放在頁面最上面，將js放在頁面最下面

四、壓縮js和css

減小文件體積，去除沒必要要的空白符、格式符、註釋（即對代碼進行格式化）

五、把js和css提取出來放在外部文件中

這一條要靈活運用，把js和css提取出來放在外部文件的優勢是：減小html體積，提升了js和css的複用性，提升往後的可維護性

缺點：增長了http請求，不過這一點能夠經過緩存來解決。

什麼狀況下將js和css寫在頁面內呢，能夠分爲幾種狀況：js和css代碼比較少；這個頁面不怎麼會訪問

六、避免重定向

重定向就是用戶請求的頁面被轉移到了別的地方，瀏覽器向服務請請求一個頁面，服務器告訴瀏覽器請求的頁面已經被轉移到另一個頁面，並告知另外一個頁面地址，瀏覽器就再發送請求到重定向的地址。這樣會增長服務器和瀏覽器之間的往返次數，影響網站性能。

重定向狀態碼有：301永久重定向 302臨時重定向。304 not modified 並非真的重定向，它是用來告訴瀏覽器get請求的文件在緩存中，避免從新下載。

七、移除重複腳本

八、使用ajax緩存

ajax的get和post方法：

只要是瀏覽器的get請求，瀏覽器都會使用緩存，對於同一地址的請求，服務器會發送304狀態碼到瀏覽器，瀏覽器就會使用緩存中的數據

post的請求每次都會被執行，瀏覽器不會緩存

九、使用Gzip壓縮

十、使用CDN(內容分發網絡)

第二：數據庫調優

數據庫的調優，總的來講分爲如下三部分：

1.SQL調優：主要集中在索引、減小跨表與大數據join查詢等。

2.數據庫端架構設計優化：

經過讀寫分離調整對數據庫的寫操做，經過垂直拆分以及水平拆分(分庫分表)來解決數據庫端鏈接池瓶頸等問題。

3.鏈接池調優

能夠經過熟悉鏈接池的原理，以及具體的鏈接池監控數據，來不斷調試出最終的鏈接池參數。

第三：經過緩存減小後端壓力

目前分佈式緩存已經比較成熟，常見的有redis、memcached以及開源的淘寶分佈式tair等。

選型考慮

若是數據量小，而且不會頻繁地增加又清空（這會致使頻繁地垃圾回收），那麼能夠選擇本地緩存。具體的話，若是須要一些策略的支持（好比緩存滿的逐出策略），能夠考慮Ehcache；如不須要，能夠考慮HashMap；如須要考慮多線程併發的場景，能夠考慮ConcurentHashMap。

緩存是否會滿，緩存滿了怎麼辦？

對於一個緩存服務，理論上來講，隨着緩存數據的日益增多，在容量有限的狀況下，緩存確定有一天會滿的。如何應對？

① 給緩存服務，選擇合適的緩存逐出算法，好比最多見的LRU。

② 針對當前設置的容量，設置適當的警惕值，好比10G的緩存，當緩存數據達到8G的時候，就開始發出報警，提早排查問題或者擴容。

③ 給一些沒有必要長期保存的key，儘可能設置過時時間。

第四：數據請求改造爲異步

使用場景

用戶並不關心或者用戶不須要當即拿到這些事情的處理結果，這種狀況就比較適合用異步的方式處理，這裏的原則就是能異步就異步。

常見作法

一種作法，是額外開闢線程，這裏能夠採用額外開闢一個線程或者使用線程池的作法，在IO線程（處理請求響應）以外的線程來處理相應的任務，在IO線程中讓response先返回。

若是異步線程處理的任務設計的數據量很是巨大，那麼能夠引入阻塞隊列BlockingQueue做進一步的優化。具體作法是讓一批異步線程不斷地往阻塞隊列裏扔數據，而後額外起一個處理線程，循環批量從隊列裏拿預設大小的一批數據，來進行批處理（好比發一個批量的遠程服務請求），這樣進一步提升了性能。

另外一種作法，是使用消息隊列（MQ）中間件服務，MQ天生就是異步的。

第五：JVM調優

何時調？

經過監控系統對一些機器關鍵指標（gc time、gc count、各個分代的內存大小變化、機器的Load值與CPU使用率、JVM的線程數等）的監控報警，也能夠看gc log和jstat等命令的輸出，再結合線上JVM進程服務的一些關鍵接口的性能數據和請求體驗，基本上就能定位出當前的JVM是否有問題，以及是否須要調優。

調優工具：

Jconsole，jProfile，VisualVM

Jconsole :jdk自帶，功能簡單，可是能夠在系統有必定負荷的狀況下使用。對垃圾回收算法有很詳細的跟蹤。詳細說明參考這裏

JProfiler：商業軟件，須要付費。功能強大。詳細說明參考這裏

VisualVM：JDK自帶，功能強大，與JProfiler相似。推薦。

如何調優？

觀察內存釋放狀況、集合類檢查、對象樹

上面這些調優工具都提供了強大的功能，可是總的來講通常分爲如下幾類功能

堆信息查看

可查看堆空間大小分配（年輕代、年老代、持久代分配）

性能優化基本是BAT等一線互聯網公司程序員必備的技能，如下爲你們完整揭曉性能完整的優化方案和方法：包含web網站調優、數據庫、JVM調優、架構調優等方案。

第一：Web網站調優

一、儘量減小HTTP請求：圖片合併 （css sprites），Js腳本文件合併、css文件合併。

二、減小DNS查詢

三、將css放在頁面最上面，將js放在頁面最下面

四、壓縮js和css

減小文件體積，去除沒必要要的空白符、格式符、註釋（即對代碼進行格式化）

五、把js和css提取出來放在外部文件中

這一條要靈活運用，把js和css提取出來放在外部文件的優勢是：減小html體積，提升了js和css的複用性，提升往後的可維護性

缺點：增長了http請求，不過這一點能夠經過緩存來解決。

什麼狀況下將js和css寫在頁面內呢，能夠分爲幾種狀況：js和css代碼比較少；這個頁面不怎麼會訪問

六、避免重定向

重定向就是用戶請求的頁面被轉移到了別的地方，瀏覽器向服務請請求一個頁面，服務器告訴瀏覽器請求的頁面已經被轉移到另一個頁面，並告知另外一個頁面地址，瀏覽器就再發送請求到重定向的地址。這樣會增長服務器和瀏覽器之間的往返次數，影響網站性能。

重定向狀態碼有：301永久重定向 302臨時重定向。304 not modified 並非真的重定向，它是用來告訴瀏覽器get請求的文件在緩存中，避免從新下載。

七、移除重複腳本

八、使用ajax緩存

ajax的get和post方法：

只要是瀏覽器的get請求，瀏覽器都會使用緩存，對於同一地址的請求，服務器會發送304狀態碼到瀏覽器，瀏覽器就會使用緩存中的數據

post的請求每次都會被執行，瀏覽器不會緩存

九、使用Gzip壓縮

十、使用CDN(內容分發網絡)

第二：數據庫調優

數據庫的調優，總的來講分爲如下三部分：

1.SQL調優：主要集中在索引、減小跨表與大數據join查詢等。

2.數據庫端架構設計優化：

經過讀寫分離調整對數據庫的寫操做，經過垂直拆分以及水平拆分(分庫分表)來解決數據庫端鏈接池瓶頸等問題。

3.鏈接池調優

能夠經過熟悉鏈接池的原理，以及具體的鏈接池監控數據，來不斷調試出最終的鏈接池參數。

第三：經過緩存減小後端壓力

目前分佈式緩存已經比較成熟，常見的有redis、memcached以及開源的淘寶分佈式tair等。

選型考慮

若是數據量小，而且不會頻繁地增加又清空（這會致使頻繁地垃圾回收），那麼能夠選擇本地緩存。具體的話，若是須要一些策略的支持（好比緩存滿的逐出策略），能夠考慮Ehcache；如不須要，能夠考慮HashMap；如須要考慮多線程併發的場景，能夠考慮ConcurentHashMap。

緩存是否會滿，緩存滿了怎麼辦？

對於一個緩存服務，理論上來講，隨着緩存數據的日益增多，在容量有限的狀況下，緩存確定有一天會滿的。如何應對？

① 給緩存服務，選擇合適的緩存逐出算法，好比最多見的LRU。

② 針對當前設置的容量，設置適當的警惕值，好比10G的緩存，當緩存數據達到8G的時候，就開始發出報警，提早排查問題或者擴容。

③ 給一些沒有必要長期保存的key，儘可能設置過時時間。

第四：數據請求改造爲異步

使用場景

用戶並不關心或者用戶不須要當即拿到這些事情的處理結果，這種狀況就比較適合用異步的方式處理，這裏的原則就是能異步就異步。

常見作法

一種作法，是額外開闢線程，這裏能夠採用額外開闢一個線程或者使用線程池的作法，在IO線程（處理請求響應）以外的線程來處理相應的任務，在IO線程中讓response先返回。

若是異步線程處理的任務設計的數據量很是巨大，那麼能夠引入阻塞隊列BlockingQueue做進一步的優化。具體作法是讓一批異步線程不斷地往阻塞隊列裏扔數據，而後額外起一個處理線程，循環批量從隊列裏拿預設大小的一批數據，來進行批處理（好比發一個批量的遠程服務請求），這樣進一步提升了性能。

另外一種作法，是使用消息隊列（MQ）中間件服務，MQ天生就是異步的。

第五：JVM調優

何時調？

經過監控系統對一些機器關鍵指標（gc time、gc count、各個分代的內存大小變化、機器的Load值與CPU使用率、JVM的線程數等）的監控報警，也能夠看gc log和jstat等命令的輸出，再結合線上JVM進程服務的一些關鍵接口的性能數據和請求體驗，基本上就能定位出當前的JVM是否有問題，以及是否須要調優。

調優工具：

Jconsole，jProfile，VisualVM

Jconsole :jdk自帶，功能簡單，可是能夠在系統有必定負荷的狀況下使用。對垃圾回收算法有很詳細的跟蹤。詳細說明參考這裏

JProfiler：商業軟件，須要付費。功能強大。詳細說明參考這裏

VisualVM：JDK自帶，功能強大，與JProfiler相似。推薦。

如何調優？

觀察內存釋放狀況、集合類檢查、對象樹

上面這些調優工具都提供了強大的功能，可是總的來講通常分爲如下幾類功能

堆信息查看

可查看堆空間大小分配（年輕代、年老代、持久代分配）
性能優化基本是BAT等一線互聯網公司程序員必備的技能，如下爲你們完整揭曉性能完整的優化方案和方法：包含web網站調優、數據庫、JVM調優、架構調優等方案。

第一：Web網站調優

一、儘量減小HTTP請求：圖片合併 （css sprites），Js腳本文件合併、css文件合併。

二、減小DNS查詢

三、將css放在頁面最上面，將js放在頁面最下面

四、壓縮js和css

減小文件體積，去除沒必要要的空白符、格式符、註釋（即對代碼進行格式化）

五、把js和css提取出來放在外部文件中

這一條要靈活運用，把js和css提取出來放在外部文件的優勢是：減小html體積，提升了js和css的複用性，提升往後的可維護性

缺點：增長了http請求，不過這一點能夠經過緩存來解決。

什麼狀況下將js和css寫在頁面內呢，能夠分爲幾種狀況：js和css代碼比較少；這個頁面不怎麼會訪問

六、避免重定向

重定向就是用戶請求的頁面被轉移到了別的地方，瀏覽器向服務請請求一個頁面，服務器告訴瀏覽器請求的頁面已經被轉移到另一個頁面，並告知另外一個頁面地址，瀏覽器就再發送請求到重定向的地址。這樣會增長服務器和瀏覽器之間的往返次數，影響網站性能。

重定向狀態碼有：301永久重定向 302臨時重定向。304 not modified 並非真的重定向，它是用來告訴瀏覽器get請求的文件在緩存中，避免從新下載。

七、移除重複腳本

八、使用ajax緩存

ajax的get和post方法：

只要是瀏覽器的get請求，瀏覽器都會使用緩存，對於同一地址的請求，服務器會發送304狀態碼到瀏覽器，瀏覽器就會使用緩存中的數據

post的請求每次都會被執行，瀏覽器不會緩存

九、使用Gzip壓縮

十、使用CDN(內容分發網絡)

第二：數據庫調優

數據庫的調優，總的來講分爲如下三部分：

1.SQL調優：主要集中在索引、減小跨表與大數據join查詢等。

2.數據庫端架構設計優化：

經過讀寫分離調整對數據庫的寫操做，經過垂直拆分以及水平拆分(分庫分表)來解決數據庫端鏈接池瓶頸等問題。

3.鏈接池調優

能夠經過熟悉鏈接池的原理，以及具體的鏈接池監控數據，來不斷調試出最終的鏈接池參數。

第三：經過緩存減小後端壓力

目前分佈式緩存已經比較成熟，常見的有redis、memcached以及開源的淘寶分佈式tair等。

選型考慮

若是數據量小，而且不會頻繁地增加又清空（這會致使頻繁地垃圾回收），那麼能夠選擇本地緩存。具體的話，若是須要一些策略的支持（好比緩存滿的逐出策略），能夠考慮Ehcache；如不須要，能夠考慮HashMap；如須要考慮多線程併發的場景，能夠考慮ConcurentHashMap。

緩存是否會滿，緩存滿了怎麼辦？

對於一個緩存服務，理論上來講，隨着緩存數據的日益增多，在容量有限的狀況下，緩存確定有一天會滿的。如何應對？

① 給緩存服務，選擇合適的緩存逐出算法，好比最多見的LRU。

② 針對當前設置的容量，設置適當的警惕值，好比10G的緩存，當緩存數據達到8G的時候，就開始發出報警，提早排查問題或者擴容。

③ 給一些沒有必要長期保存的key，儘可能設置過時時間。

第四：數據請求改造爲異步

使用場景

用戶並不關心或者用戶不須要當即拿到這些事情的處理結果，這種狀況就比較適合用異步的方式處理，這裏的原則就是能異步就異步。

常見作法

一種作法，是額外開闢線程，這裏能夠採用額外開闢一個線程或者使用線程池的作法，在IO線程（處理請求響應）以外的線程來處理相應的任務，在IO線程中讓response先返回。

若是異步線程處理的任務設計的數據量很是巨大，那麼能夠引入阻塞隊列BlockingQueue做進一步的優化。具體作法是讓一批異步線程不斷地往阻塞隊列裏扔數據，而後額外起一個處理線程，循環批量從隊列裏拿預設大小的一批數據，來進行批處理（好比發一個批量的遠程服務請求），這樣進一步提升了性能。

另外一種作法，是使用消息隊列（MQ）中間件服務，MQ天生就是異步的。

第五：JVM調優

何時調？

經過監控系統對一些機器關鍵指標（gc time、gc count、各個分代的內存大小變化、機器的Load值與CPU使用率、JVM的線程數等）的監控報警，也能夠看gc log和jstat等命令的輸出，再結合線上JVM進程服務的一些關鍵接口的性能數據和請求體驗，基本上就能定位出當前的JVM是否有問題，以及是否須要調優。

調優工具：

Jconsole，jProfile，VisualVM

Jconsole :jdk自帶，功能簡單，可是能夠在系統有必定負荷的狀況下使用。對垃圾回收算法有很詳細的跟蹤。詳細說明參考這裏

JProfiler：商業軟件，須要付費。功能強大。詳細說明參考這裏

VisualVM：JDK自帶，功能強大，與JProfiler相似。推薦。

如何調優？

觀察內存釋放狀況、集合類檢查、對象樹

上面這些調優工具都提供了強大的功能，可是總的來講通常分爲如下幾類功能

堆信息查看

可查看堆空間大小分配（年輕代、年老代、持久代分配）

提供即時的垃圾回收功能

垃圾監控（長時間監控回收狀況）

查看堆內類、對象信息查看：數量、類型等

對象引用狀況查看

有了堆信息查看方面的功能，咱們通常能夠順利解決如下問題：

--年老代年輕代大小劃分是否合理

--內存泄漏

--垃圾回收算法設置是否合理

線程監控

線程信息監控：系統線程數量。

線程狀態監控：各個線程都處在什麼樣的狀態下

Dump線程詳細信息：查看線程內部運行狀況

死鎖檢查

熱點分析

CPU熱點：檢查系統哪些方法佔用的大量CPU時間

內存熱點：檢查哪些對象在系統中數量最大（必定時間內存活對象和銷燬對象一塊兒統計）

這兩個東西對於系統優化頗有幫助。咱們能夠根據找到的熱點，有針對性的進行系統的瓶頸查找和進行系統優化，而不是漫無目的的進行全部代碼的優化。

快照

快照是系統運行到某一時刻的一個定格。在咱們進行調優的時候，不可能用眼睛去跟蹤全部系統變化，依賴快照功能，咱們就能夠進行系統兩個不一樣運行時刻，對象（或類、線程等）的不一樣，以便快速找到問題

舉例說，我要檢查系統進行垃圾回收之後，是否還有該收回的對象被遺漏下來的了。那麼，我能夠在進行垃圾回收先後，分別進行一次堆狀況的快照，而後對比兩次快照的對象狀況。

內存泄漏檢查

內存泄漏是比較常見的問題，並且解決方法也比較通用，這裏能夠重點說一下，而線程、熱點方面的問題則是具體問題具體分析了。

內存泄漏通常能夠理解爲系統資源（各方面的資源，堆、棧、線程等）在錯誤使用的狀況下，致使使用完畢的資源沒法回收（或沒有回收），從而致使新的資源分配請求沒法完成，引發系統錯誤。

內存泄漏對系統危害比較大，由於他能夠直接致使系統的崩潰。

性能調優總結：

大型網站的性能瓶頸大部分瓶頸都在數據庫端，因此性能調優老是沿着如何減小對後端的壓力來操做，數據庫端的瓶頸常常會形成應用端的雪崩(好比：sql查詢過長，長事務)等，因此須要及時解決後端性能。

1.經過讀寫分離、垂直拆分、水平拆分下降對數據庫後端的壓力。

2.經過優化sql語句，索引等，縮短對sql的查詢時間。

2.經過緩存以及CDN來解決對圖片、文件等的讀操做，避免對數據庫產生壓力。

3.經過對web端的優化，js、css等壓縮，提升大文件讀取時間，儘可能依賴CDN。

4.還有一個重點就是監控：對JVM、線程、sql查詢時間等健康指標就行及時監控，經過監控及時發現瓶頸，及時優化。