java程序很大一部分要操做數據庫,爲了提升性能操做數據庫的時候,有不得不使用數據庫鏈接池。數據庫鏈接池有不少選擇,c3p、dhcp、proxool等,druid做爲一名後起之秀,憑藉其出色的性能,也逐漸印入了你們的眼簾。接下來本教程就說一下druid的簡單使用。 javascript
首先從http://repo1.maven.org/maven2/com/alibaba/druid/ 下載最新的jar包。若是想使用最新的源碼編譯,能夠從https://github.com/alibaba/druid 下載源碼,而後使用maven命令行,或者導入到eclipse中進行編譯。 html
1 配置
和dbcp相似,druid的配置項以下 java
配置 |
缺省值 |
說明 |
name |
|
配置這個屬性的意義在於,若是存在多個數據源,監控的時候 能夠經過名字來區分開來。若是沒有配置,將會生成一個名字, 格式是:"DataSource-" + System.identityHashCode(this) |
jdbcUrl |
|
鏈接數據庫的url,不一樣數據庫不同。例如: mysql : jdbc:mysql://10.20.153.104:3306/druid2 oracle : jdbc:oracle:thin:@10.20.149.85:1521:ocnauto |
username |
|
鏈接數據庫的用戶名 |
password |
|
鏈接數據庫的密碼。若是你不但願密碼直接寫在配置文件中, 可使用ConfigFilter。詳細看這裏: https://github.com/alibaba/druid/wiki/%E4%BD%BF%E7%94%A8ConfigFilter |
driverClassName |
根據url自動識別 |
這一項可配可不配,若是不配置druid會根據url自動識別dbType, 而後選擇相應的driverClassName |
initialSize |
0 |
初始化時創建物理鏈接的個數。初始化發生在顯示調用init方法, 或者第一次getConnection時 |
maxActive |
8 |
最大鏈接池數量 |
maxIdle |
8 |
已經再也不使用,配置了也沒效果 |
minIdle |
|
最小鏈接池數量 |
maxWait |
|
獲取鏈接時最大等待時間,單位毫秒。配置了maxWait以後, 缺省啓用公平鎖,併發效率會有所降低, 若是須要能夠經過配置useUnfairLock屬性爲true使用非公平鎖。 |
poolPreparedStatements |
false |
是否緩存preparedStatement,也就是PSCache。 PSCache對支持遊標的數據庫性能提高巨大,好比說oracle。 在mysql5.5如下的版本中沒有PSCache功能,建議關閉掉。 5.5及以上版本有PSCache,建議開啓。 |
maxOpenPreparedStatements |
-1 |
要啓用PSCache,必須配置大於0,當大於0時, poolPreparedStatements自動觸發修改成true。 在Druid中,不會存在Oracle下PSCache佔用內存過多的問題, 能夠把這個數值配置大一些,好比說100 |
validationQuery |
|
用來檢測鏈接是否有效的sql,要求是一個查詢語句。 若是validationQuery爲null,testOnBorrow、testOnReturn、 testWhileIdle都不會其做用。 |
testOnBorrow |
true |
申請鏈接時執行validationQuery檢測鏈接是否有效, 作了這個配置會下降性能。 |
testOnReturn |
false |
歸還鏈接時執行validationQuery檢測鏈接是否有效, 作了這個配置會下降性能 |
testWhileIdle |
false |
建議配置爲true,不影響性能,而且保證安全性。 申請鏈接的時候檢測,若是空閒時間大於 timeBetweenEvictionRunsMillis, 執行validationQuery檢測鏈接是否有效。 |
timeBetweenEvictionRunsMillis |
|
有兩個含義: 1) Destroy線程會檢測鏈接的間隔時間 2) testWhileIdle的判斷依據,詳細看testWhileIdle屬性的說明 |
numTestsPerEvictionRun |
|
再也不使用,一個DruidDataSource只支持一個EvictionRun |
minEvictableIdleTimeMillis |
|
|
connectionInitSqls |
|
物理鏈接初始化的時候執行的sql |
exceptionSorter |
根據dbType自動識別 |
當數據庫拋出一些不可恢復的異常時,拋棄鏈接 |
filters |
|
屬性類型是字符串,經過別名的方式配置擴展插件, 經常使用的插件有: 監控統計用的filter:stat 日誌用的filter:log4j 防護sql注入的filter:wall |
proxyFilters |
|
類型是List<com.alibaba.druid.filter.Filter>, 若是同時配置了filters和proxyFilters, 是組合關係,並不是替換關係 |
表1.1 配置屬性
根據經常使用的配置屬性,首先給出一個以下的配置文件,放置於src目錄下。 mysql
- url:jdbc:mysql://localhost:3306/dragoon_v25_masterdb
- driverClassName:com.mysql.jdbc.Driver
- username:root
- password:aaaaaaaa
-
- filters:stat
-
- maxActive:20
- initialSize:1
- maxWait:60000
- minIdle:10
- #maxIdle:15
-
- timeBetweenEvictionRunsMillis:60000
- minEvictableIdleTimeMillis:300000
-
- validationQuery:SELECT 'x'
- testWhileIdle:true
- testOnBorrow:false
- testOnReturn:false
- #poolPreparedStatements:true
- maxOpenPreparedStatements:20
-
- #對於長時間不使用的鏈接強制關閉
- removeAbandoned:true
- #超過30分鐘開始關閉空閒鏈接
- removeAbandonedTimeout:1800
- #將當前關閉動做記錄到日誌
- logAbandoned:true
配置文件1.1 git
配置項中指定了各個參數後,在鏈接池內部是這麼使用這些參數的。數據庫鏈接池在初始化的時候會建立initialSize個鏈接,當有數據庫操做時,會從池中取出一個鏈接。若是當前池中正在使用的鏈接數等於maxActive,則會等待一段時間,等待其餘操做釋放掉某一個鏈接,若是這個等待時間超過了maxWait,則會報錯;若是當前正在使用的鏈接數沒有達到maxActive,則判斷當前是否空閒鏈接,若是有則直接使用空閒鏈接,若是沒有則新創建一個鏈接。在鏈接使用完畢後,不是將其物理鏈接關閉,而是將其放入池中等待其餘操做複用。 github
同時鏈接池內部有機制判斷,若是當前的總的鏈接數少於miniIdle,則會創建新的空閒鏈接,以保證鏈接數獲得miniIdle。若是當前鏈接池中某個鏈接在空閒了timeBetweenEvictionRunsMillis時間後任然沒有使用,則被物理性的關閉掉。有些數據庫鏈接的時候有超時限制(mysql鏈接在8小時後斷開),或者因爲網絡中斷等緣由,鏈接池的鏈接會出現失效的狀況,這時候設置一個testWhileIdle參數爲true,能夠保證鏈接池內部定時檢測鏈接的可用性,不可用的鏈接會被拋棄或者重建,最大狀況的保證從鏈接池中獲得的Connection對象是可用的。固然,爲了保證絕對的可用性,你也可使用testOnBorrow爲true(即在獲取Connection對象時檢測其可用性),不過這樣會影響性能。 web
2 代碼編寫
2.1 使用spring
首先給出spring配置文件 ajax
- <?xml version="1.0" encoding="UTF-8"?>
- <beans xmlns="http://www.springframework.org/schema/beans"
- xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
- xsi:schemaLocation="http://www.springframework.org/schema/mvc http://www.springframework.org/schema/mvc/spring-mvc-3.0.xsd
- http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.0.xsd
- http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-3.0.xsd">
- <!-- 給web使用的spring文件 -->
- <bean id="propertyConfigurer"
- class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">
- <property name="locations">
- <list>
- <value>/WEB-INF/classes/dbconfig.properties</value>
- </list>
- </property>
- </bean>
- <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource"
- destroy-method="close">
- <property name="url" value="${url}" />
- <property name="username" value="${username}" />
- <property name="password" value="${password}" />
- <property name="driverClassName" value="${driverClassName}" />
- <property name="filters" value="${filters}" />
-
- <property name="maxActive" value="${maxActive}" />
- <property name="initialSize" value="${initialSize}" />
- <property name="maxWait" value="${maxWait}" />
- <property name="minIdle" value="${minIdle}" />
-
- <property name="timeBetweenEvictionRunsMillis" value="${timeBetweenEvictionRunsMillis}" />
- <property name="minEvictableIdleTimeMillis" value="${minEvictableIdleTimeMillis}" />
-
- <property name="validationQuery" value="${validationQuery}" />
- <property name="testWhileIdle" value="${testWhileIdle}" />
- <property name="testOnBorrow" value="${testOnBorrow}" />
- <property name="testOnReturn" value="${testOnReturn}" />
- <property name="maxOpenPreparedStatements"
- value="${maxOpenPreparedStatements}" />
- <property name="removeAbandoned" value="${removeAbandoned}" /> <!-- 打開removeAbandoned功能 -->
- <property name="removeAbandonedTimeout" value="${removeAbandonedTimeout}" /> <!-- 1800秒,也就是30分鐘 -->
- <property name="logAbandoned" value="${logAbandoned}" /> <!-- 關閉abanded鏈接時輸出錯誤日誌 -->
- </bean>
-
- <bean id="dataSourceDbcp" class="org.apache.commons.dbcp.BasicDataSource"
- destroy-method="close">
-
- <property name="driverClassName" value="${driverClassName}" />
- <property name="url" value="${url}" />
- <property name="username" value="${username}" />
- <property name="password" value="${password}" />
-
- <property name="maxActive" value="${maxActive}" />
- <property name="minIdle" value="${minIdle}" />
- <property name="maxWait" value="${maxWait}" />
- <property name="defaultAutoCommit" value="true" />
-
- <property name="timeBetweenEvictionRunsMillis" value="${timeBetweenEvictionRunsMillis}" />
- <property name="minEvictableIdleTimeMillis" value="${minEvictableIdleTimeMillis}" />
-
- <property name="validationQuery" value="${validationQuery}" />
- <property name="testWhileIdle" value="${testWhileIdle}" />
- <property name="testOnBorrow" value="${testOnBorrow}" />
- <property name="testOnReturn" value="${testOnReturn}" />
- <property name="maxOpenPreparedStatements"
- value="${maxOpenPreparedStatements}" />
- <property name="removeAbandoned" value="${removeAbandoned}" />
- <property name="removeAbandonedTimeout" value="${removeAbandonedTimeout}" />
- <property name="logAbandoned" value="${logAbandoned}" />
- </bean>
-
-
- <!-- jdbcTemplate -->
- <bean id="jdbc" class="org.springframework.jdbc.core.JdbcTemplate">
- <property name="dataSource">
- <ref bean="dataSource" />
- </property>
- </bean>
-
- <bean id="SpringTableOperatorBean" class="com.whyun.druid.model.TableOperator"
- scope="prototype">
- <property name="dataSource">
- <ref bean="dataSource" />
- </property>
- </bean>
-
- </beans>
配置文件2.1 spring
其中第一個bean中給出的配置文件/WEB-INF/classes/dbconfig.properties就是第1節中給出的配置文件。我這裏還特意給出dbcp的spring配置項,目的就是將二者進行對比,方便你們進行遷移。這裏沒有使用JdbcTemplate,因此jdbc那個bean沒有使用到。下面給出com.whyun.druid.model.TableOperator類的代碼。 sql
- package com.whyun.druid.model;
-
- import java.sql.Connection;
- import java.sql.PreparedStatement;
- import java.sql.SQLException;
- import java.sql.Statement;
-
- import javax.sql.DataSource;
-
- public class TableOperator {
- private DataSource dataSource;
- public void setDataSource(DataSource dataSource) {
- this.dataSource = dataSource;
- }
-
- private static final int COUNT = 800;
-
- public TableOperator() {
-
- }
-
- public void tearDown() throws Exception {
- try {
- dropTable();
- } catch (SQLException e) {
- e.printStackTrace();
- }
- }
-
- public void insert() throws Exception {
-
- StringBuffer ddl = new StringBuffer();
- ddl.append("INSERT INTO t_big (");
- for (int i = 0; i < COUNT; ++i) {
- if (i != 0) {
- ddl.append(", ");
- }
- ddl.append("F" + i);
- }
- ddl.append(") VALUES (");
- for (int i = 0; i < COUNT; ++i) {
- if (i != 0) {
- ddl.append(", ");
- }
- ddl.append("?");
- }
- ddl.append(")");
-
- Connection conn = dataSource.getConnection();
-
- // System.out.println(ddl.toString());
-
- PreparedStatement stmt = conn.prepareStatement(ddl.toString());
-
- for (int i = 0; i < COUNT; ++i) {
- stmt.setInt(i + 1, i);
- }
- stmt.execute();
- stmt.close();
-
- conn.close();
- }
-
- private void dropTable() throws SQLException {
-
- Connection conn = dataSource.getConnection();
-
- Statement stmt = conn.createStatement();
- stmt.execute("DROP TABLE t_big");
- stmt.close();
-
- conn.close();
- }
-
- public void createTable() throws SQLException {
- StringBuffer ddl = new StringBuffer();
- ddl.append("CREATE TABLE t_big (FID INT AUTO_INCREMENT PRIMARY KEY ");
- for (int i = 0; i < COUNT; ++i) {
- ddl.append(", ");
- ddl.append("F" + i);
- ddl.append(" BIGINT NULL");
- }
- ddl.append(")");
-
- Connection conn = dataSource.getConnection();
-
- Statement stmt = conn.createStatement();
- stmt.execute(ddl.toString());
- stmt.close();
-
- conn.close();
- }
- }
代碼片斷2.1
注意:在使用的時候,經過獲取完Connection對象,在使用完以後,要將其close掉,這樣實際上是將用完的鏈接放入到鏈接池中,若是你不close的話,會形成鏈接泄露。
而後咱們寫一個servlet來測試他.
- package com.whyun.druid.servelt;
-
- import java.io.IOException;
- import java.io.PrintWriter;
- import java.sql.SQLException;
-
- import javax.servlet.ServletContext;
- import javax.servlet.ServletException;
- import javax.servlet.http.HttpServlet;
- import javax.servlet.http.HttpServletRequest;
- import javax.servlet.http.HttpServletResponse;
-
- import org.springframework.web.context.WebApplicationContext;
- import org.springframework.web.context.support.WebApplicationContextUtils;
-
- import com.whyun.druid.model.TableOperator;
-
- public class TestServlet extends HttpServlet {
- private TableOperator operator;
-
-
- @Override
- public void init() throws ServletException {
-
- super.init();
- ServletContext servletContext = this.getServletContext();
-
- WebApplicationContext ctx
- = WebApplicationContextUtils.getWebApplicationContext(servletContext);
- operator = (TableOperator)ctx.getBean("SpringTableOperatorBean");
- }
-
- /**
- * The doGet method of the servlet. <br>
- *
- * This method is called when a form has its tag value method equals to get.
- *
- * @param request the request send by the client to the server
- * @param response the response send by the server to the client
- * @throws ServletException if an error occurred
- * @throws IOException if an error occurred
- */
- public void doGet(HttpServletRequest request, HttpServletResponse response)
- throws ServletException, IOException {
-
- response.setContentType("text/html");
- PrintWriter out = response.getWriter();
-
- boolean createResult = false;
- boolean insertResult = false;
- boolean dropResult = false;
-
- try {
- operator.createTable();
- createResult = true;
- } catch (SQLException e) {
- e.printStackTrace();
- }
- if (createResult) {
- try {
- operator.insert();
- insertResult = true;
- } catch (Exception e) {
- e.printStackTrace();
- }
- try {
- operator.tearDown();
- dropResult = true;
- } catch (Exception e) {
- e.printStackTrace();
- }
- }
-
-
- out.println("{'createResult':"+createResult+",'insertResult':"
- +insertResult+",'dropResult':"+dropResult+"}");
-
- out.flush();
- out.close();
- }
-
- }
代碼片斷2.2
這裏沒有用到struts2或者springmvc,雖然大部分開發者用的是這兩種框架。
2.2 不使用spring
相似於dbcp,druid也提供了原生態的支持。這裏僅僅列出來瞭如何獲取一個DataSource對象,實際使用中要將獲取DataSource的過程封裝到一個單體模式類中。先看下面這段代碼:
代碼片斷2.3 手動讀取配置文件初始化鏈接池
第37行中調用了類com.alibaba.druid.pool.DruidDataSourceFactory中createDataSource方法來初始化一個鏈接池。對比dbcp的使用方法,二者很類似。
下面給出一個多線程的測試程序。運行後能夠比較druid和dbcp的性能差異。
- package com.whyun.druid.test;
-
- import java.sql.SQLException;
- import java.util.ArrayList;
- import java.util.List;
- import java.util.concurrent.Callable;
- import java.util.concurrent.ExecutorService;
- import java.util.concurrent.Executors;
- import java.util.concurrent.Future;
- import java.util.concurrent.TimeUnit;
-
- import com.whyun.druid.model.TableOperator;
- import com.whyun.util.db.DataSourceUtil;
-
- public class MutilThreadTest {
- public static void test(int dbType, int times)
- throws Exception {
- int numOfThreads =Runtime.getRuntime().availableProcessors()*2;
- ExecutorService executor = Executors.newFixedThreadPool(numOfThreads);
- final TableOperator test = new TableOperator();
- // int dbType = DataSourceUtil.DRUID_MYSQL_SOURCE;
- // dbType = DataSourceUtil.DBCP_SOURCE;
- test.setDataSource(DataSourceUtil.getDataSource(dbType));
-
- boolean createResult = false;
- try {
- test.createTable();
- createResult = true;
- } catch (SQLException e) {
- e.printStackTrace();
- }
- if (createResult) {
- List<Future<Long>> results = new ArrayList<Future<Long>>();
- for (int i = 0; i < times; i++) {
- results.add(executor.submit(new Callable<Long>() {
- @Override
- public Long call() throws Exception {
- long begin = System.currentTimeMillis();
- try {
- test.insert();
- //insertResult = true;
- } catch (Exception e) {
- e.printStackTrace();
- }
- long end = System.currentTimeMillis();
- return end - begin;
- }
- }));
- }
- executor.shutdown();
- while(!executor.awaitTermination(Long.MAX_VALUE, TimeUnit.DAYS));
-
- long sum = 0;
- for (Future<Long> result : results) {
- sum += result.get();
- }
-
-
- System.out.println("---------------db type "+dbType+"------------------");
- System.out.println("number of threads :" + numOfThreads + " times:" + times);
- System.out.println("running time: " + sum + "ms");
- System.out.println("TPS: " + (double)(100000 * 1000) / (double)(sum));
- System.out.println();
- try {
- test.tearDown();
- //dropResult = true;
- } catch (Exception e) {
- e.printStackTrace();
- }
- } else {
- System.out.println("初始化數據庫失敗");
- }
-
- }
-
- public static void main (String argc[])
- throws Exception {
- test(DataSourceUtil.DBCP_SOURCE,50);
- test(DataSourceUtil.DRUID_MYSQL_SOURCE,50);
-
- }
- }
代碼片斷2.4 鏈接池多線程測試程序
3 監控
3.1 web監控
druid提供了sql語句查詢時間等信息的監控功能。爲了讓數據庫查詢一直運行,下面特意寫了一個ajax進行輪詢。同時,還要保證在web.xml中配置以下信息
- <servlet>
- <servlet-name>DruidStatView</servlet-name>
- <servlet-class>com.alibaba.druid.support.http.StatViewServlet</servlet-class>
- </servlet>
- <servlet-mapping>
- <servlet-name>DruidStatView</servlet-name>
- <url-pattern>/druid/*</url-pattern>
- </servlet-mapping>
配置文件3.1 在web.xml中添加druid監控
同時將ajax代碼提供以下
- function showTime() {
- var myDate = new Date();
- var timeStr = '';
- timeStr += myDate.getFullYear()+'-'; //獲取完整的年份(4位,1970-????)
- timeStr += myDate.getMonth()+'-'; //獲取當前月份(0-11,0表明1月)
- timeStr += myDate.getDate() + ' '; //獲取當前日(1-31)
- timeStr += myDate.getHours()+':'; //獲取當前小時數(0-23)
- timeStr += myDate.getMinutes()+':'; //獲取當前分鐘數(0-59)
- timeStr += myDate.getSeconds(); //獲取當前秒數(0-59)
- return timeStr
- }
- $(document).ready(function() {
- function loadDBTestMessage() {
- $.get('servlet/MysqlTestServlet',function(data) {
- if (typeof(data) != 'object') {
- data = eval('(' + data + ')');
- }
- var html = '['+showTime()+']';
- html += '建立:' + data['createResult'];
- html += '插入:' + data['insertResult'];
- html += '銷燬:' + data['dropResult'];
- html +=
- $('#message').html(html);
- });
- }
-
- setInterval(function() {
- loadDBTestMessage();
- }, 10000);
- });
代碼片斷3.1 ajax輪詢
這時打開http://localhost/druid-web/druid/ 地址,會看到監控界面,點擊其中的sql標籤。
圖3.1 監控界面查看sql查詢時間
注意:在寫配置文件1.1時,要保證filter配置項中含有stat屬性,不然這個地方看不到sql語句的監控數據。
從0.2.23開始監控界面支持中英文語言,因此這裏就不翻譯表格中的英文字段了。
老版本的druid的jar包中不支持經過web界面進行遠程監控,從0.2.14開始能夠經過配置jmx地址來獲取遠程運行druid的服務器的監控信息。具體配置方法以下:
- <servlet>
- <servlet-name>DruidStatView</servlet-name>
- <servlet-class>com.alibaba.druid.support.http.StatViewServlet</servlet-class>
- <init-param>
- <param-name>jmxUrl</param-name>
- <param-value>service:jmx:rmi:///jndi/rmi://localhost:9004/jmxrmi</param-value>
- </init-param>
- </servlet>
- <servlet-mapping>
- <servlet-name>DruidStatView</servlet-name>
- <url-pattern>/druid/*</url-pattern>
- </servlet-mapping>
配置文件3.2 遠程監控web
這裏鏈接的配置參數中多了一個jmxUrl,裏面配置一個jmx鏈接地址,若是配置了這個init-param後,那麼當前web監控界面監控的就不是本機的druid的使用狀況,而是jmxUrl中指定的ip的遠程機器的druid使用狀況。jmx鏈接中也能夠指定用戶名、密碼,在上面的servlet中添加兩個init-param,其param-name分別爲jmxUsername和jmxPassword,分別對應鏈接jmx的用戶名和密碼。對於jmx在服務器端的配置,能夠參考3.2節中的介紹。
3.2 jconsole監控
同時druid提供了jconsole監控的功能,由於界面作的不是很好,因此官方中沒有對其的相關介紹。若是是純java程序的話,能夠簡單的使用jconsole,也可使用3.1中提到的經過配置init-param來訪問遠程druid。下面依然使用的是剛纔用的web項目來模擬druid所在的遠程機器。
如今假設有兩臺機器,一臺是運行druid的A機器,一臺是要查看druid運行信息的B機器。
首先在這臺遠程機器A的catalina.bat(或者catalina.sh)中加入java的啓動選項,放置於if "%OS%" == "Windows_NT" setlocal這句以後。
set JAVA_OPTS=%JAVA_OPTS% -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port="9004" -Dcom.sun.management.jmxremote.authenticate="false" -Dcom.sun.management.jmxremote.ssl="false"
保存完以後,啓動startup.bat(或者startup.sh)來運行tomcat(上面設置java啓動項的配置,按理來講在eclipse中也能適用,可是筆者在其下沒有試驗成功)。而後在要查看監控信息的某臺電腦B的命令行中運行以下命令
jconsole -pluginpath E:\kuaipan\workspace6\druid-web\WebRoot\WEB-INF\lib\druid-0.2.11.jar
這裏的最後一個參數就是你的druid的jar包的路徑。
圖3.2 jconsole鏈接界面
在遠程進程的輸入框裏面輸入ip:端口號,而後點擊鏈接(上面的配置中沒有指定用戶名、密碼,因此這裏不用填寫)。打開的界面以下:
圖3.3 jconsole 鏈接成功界面
能夠看到和web監控界面相似的數據了。推薦直接使用web界面配置jmx地址方式來訪問遠程機器的druid使用狀況,由於這種方式查看到的數據信息更全面些。
參考