阿里開源項目 druid 相關資料彙總

項目發起人訪談：http://www.iteye.com/magazines/90

github主頁：https://github.com/alibaba/druid

druid 項目，我想我能用很短的話進行總結：首先，是個數據庫鏈接池，這也就意味着，須要創建線程池，讓connection （JDBC中的接口）與真實的線程見不是強關聯。其次，我想要，可以創建監測的機制，記錄有哪些sql語句，每條sql語句的執行時間，哪些sql語句我想禁止等等。其實，相似於攔截器機制，我要在connection上加上一個代理Proxy機制。在作攔截的過程當中，咱們可能要解析sql語句。

 

 

 

Druid是什麼？有什麼做用？

Druid首先是一個數據庫鏈接池，但它不只僅是一個數據庫鏈接池，它還包含一個ProxyDriver，一系列內置的JDBC組件庫，一個SQL Parser。

Druid的項目背景？目前的項目團隊狀況？開源目的？

2010年開始，我負責設計一個叫作Dragoon的監控系統， 須要一些監控組件，監控應用程序的運行狀況，包括Web URI、Spring、JDBC等。 爲了監控SQL執行狀況，我作了一個Filter-Chain模式的ProxyDriver，缺省提供StatFilter。當時我還作了一個SQL Parser。老闆說，不如咱們來一個更大的計劃，把鏈接池、SQL Parser、Proxy Driver合起來作一個項目，命名爲Druid，因而Druid就誕生了。 

2011年2月春節期間，我完成了鏈接池（DruidDataSource）的第一個版本，4月開始在生產環境測試，2012年第一季度開始大規模實施。 

提交過代碼的開發者有5我的，主要代碼是我維護，有一人專門負責內部實施。 

經過開源，但願有更多使用場景，更多的反饋，更多人蔘與其中，共同打造最好的數據庫鏈接池。

Druid支持哪些數據庫？

Druid支持全部JDBC兼容的數據庫，包括Oracle、MySql、Derby、Postgresql、SQL Server、H2等等。 

Druid針對Oracle和MySql作了特別優化，好比Oracle的PS Cache內存佔用優化，MySql的ping檢測優化。

Druid是如何擴展JDBC的?

Druid在DruidDataSourc和ProxyDriver上提供了Filter-Chain模式的擴展API，相似Serlvet的Filter，配置Filter攔截JDBC的方法調用。

爲何說Druid是「最好的數據庫鏈接池」?體如今哪些方面？這是如何實現的？

阿里巴巴是一個重度使用關係數據庫的公司，咱們在生產環境中大量的使用Druid，經過長期在極高負載的生產環境中實際使用、修改和完善，讓Druid逐步發展成最好的數據庫鏈接池。Druid在監控、可擴展性、穩定性和性能方面都有明顯的優點。 

首先，強大的監控特性，經過Druid提供的監控功能，能夠清楚知道鏈接池和SQL的工做狀況。 

• 監控SQL的執行時間、ResultSet持有時間、返回行數、更新行數、錯誤次數、錯誤堆棧信息。
• SQL執行的耗時區間分佈。什麼是耗時區間分佈呢？好比說，某個SQL執行了1000次，其中0~1毫秒區間50次，1~10毫秒800次，10~100毫秒100次，100~1000毫秒30次，1~10秒15次，10秒以上5次。經過耗時區間分佈，可以很是清楚知道SQL的執行耗時狀況。
• 監控鏈接池的物理鏈接建立和銷燬次數、邏輯鏈接的申請和關閉次數、非空等待次數、PSCache命中率等。

其次，方便擴展。Druid提供了Filter-Chain模式的擴展API，能夠本身編寫Filter攔截JDBC中的任何方法，能夠在上面作任何事情，好比說性能監控、SQL審計、用戶名密碼加密、日誌等等。 

Druid內置提供了用於監控的StatFilter、日誌輸出的Log系列Filter、防護SQL注入攻擊的WallFilter。 

阿里巴巴內部實現了用於數據庫密碼加密的CirceFilter，以及和Web、Spring關聯監控的DragoonStatFilter。 

第三，Druid集合了開源和商業數據庫鏈接池的優秀特性，並結合阿里巴巴大規模苛刻生產環境的使用經驗進行優化。 

• ExceptionSorter。當一個鏈接產生不可恢復的異常時，例如Oracle error_code_28 session has been killed，必須馬上從鏈接池中逐出，不然會產生大量錯誤。目前只有Druid和JBoss DataSource實現了ExceptionSorter。
• PSCache內存佔用優化對於支持遊標的數據庫（Oracle、SQL Server、DB2等，不包括MySql），PSCache能夠大幅度提高SQL執行性能。一個PreparedStatement對應服務器一個遊標，若是PreparedStatement被緩存起來重複執行，PreparedStatement沒有被關閉，服務器端的遊標就不會被關閉，性能提升很是顯著。在相似「SELECT * FROM T WHERE ID = ?」這樣的場景，性能多是一個數量級的提高。但在Oracle JDBC Driver中，其餘的數據庫鏈接池（DBCP、JBossDataSource）會佔用內存過多，極端狀況可能大於1G。Druid調用OracleDriver提供管理PSCache內部API。
• LRU是一個性能關鍵指標，特別Oracle，每一個Connection對應數據庫端的一個進程，若是數據庫鏈接池聽從LRU，有助於數據庫服務器優化，這是重要的指標。Druid、DBCP、Proxool、JBoss是遵照LRU的。BoneCP、C3P0則不是。BoneCP在mock環境下性能可能還好，但在真實環境中則就很差了。

Druid的性能如何？可否給出一些測試對比數據？

性能不是Druid的設計目標，可是測試數據代表，Druid性能比DBCP、C3P0、Proxool、JBoss都好。 

這裏有一些測試數據： http://code.alibabatech.com/wiki/pages/viewpage.action?pageId=2916539

談談Druid的SQL解析功能？效率如何？

Druid提供了MySql、Oracle、Postgresql、SQL-92的SQL的完整支持，這是一個手寫的高性能SQL Parser，支持Visitor模式，使得分析SQL的抽象語法樹很方便。 

簡單SQL語句用時10微秒之內，複雜SQL用時30微秒。 

經過Druid提供的SQL Parser能夠在JDBC層攔截SQL作相應處理，好比說分庫分表、審計等。Druid防護SQL注入攻擊的WallFilter就是經過Druid的SQL Parser分析語義實現的。

Druid的擴展性如何？

Druid提供Filter-Chain模式的插件框架，經過編寫Filter配置到DruidDataSource中就能夠攔截JDBC的各類API，從而實現擴展。Druid提供了一系列內置Filter。

在SQL注入防護方面，Druid的優點是什麼？實現原理是什麼？

Druid的優點是在JDBC最低層進行攔截作判斷，不會遺漏。 

Druid實現了Oracle、MySql、Postgresql、SQL-92的Parser，基於SQL語法分析實現，理解其中的SQL語義，智能、準確、誤報率低。 

具體細節參考這裏： http://code.alibabatech.com/wiki/display/Druid/WallFilter

目前Druid的應用（部署）狀況？

Druid是阿里巴巴監控系統Dragoon的副產品，從Dragoon監控系統的數據來看，在阿里巴巴已經部署了600多個應用。在阿里巴巴外部也有不少Druid的用戶，外部用戶沒有正式統計數據，但常常有反饋。

我想將其中的某個模塊（好比監控模塊）用到其餘鏈接池，是否能夠？模塊的獨立性如何？

能夠經過DruidDriver把內置的Filter用在其餘鏈接池中。在2011年上半年DruidDataSource不成熟的時候，咱們也是這麼作的。在其餘鏈接池中使用內置的Filter，須要修改jdbc-url，使用DruidDriver做爲一個ProxyDriver。

我想在項目中使用，應該注意哪些事項？可否用於商業項目？

Druid是一個開源項目，基於Apache 2.0協議，你能夠免費自由使用。Druid只支持JDK 6以上版本，不支持JDK 1.4和JDK 5.0。

配置是否複雜？可否給出一個典型的配置實例？

爲了方便你們遷移，Druid的配置和DBCP是基本一致的，若是你原來是使用DBCP，遷移是十分方便的，只須要把corg.apache.commons.dbcp.BasicDataSource修改成om.alibaba.druid.pool.DruidDataSource就行了。 

如下是一個參考配置： 

<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">
    <property name="url" value="${jdbc_url}" />
    <property name="username" value="${jdbc_user}" />
    <property name="password" value="${jdbc_password}" />

    <property name="filters" value="stat" />

    <property name="maxActive" value="20" />
    <property name="initialSize" value="1" />
    <property name="maxWait" value="60000" />
    <property name="minIdle" value="1" />

    <property name="timeBetweenEvictionRunsMillis" value="60000" />
    <property name="minEvictableIdleTimeMillis" value="300000" />

    <property name="validationQuery" value="SELECT 'x'" />
    <property name="testWhileIdle" value="true" />
    <property name="testOnBorrow" value="false" />
    <property name="testOnReturn" value="false" />

    <property name="poolPreparedStatements" value="true" />
    <property name="maxPoolPreparedStatementPerConnectionSize" value="50" />
</bean>

在上面的配置中，一般你須要配置url、username、password、maxActive這幾項。 

在DruidDataSource中，你能夠不配置DriverClass，它根據url自動識別。Druid可以自動識別20多中url，常見的JDBC Driver都包括了。

我目前使用其餘鏈接池（DBCP/C3P0/Proxool等），如何遷移到Druid？

從DBCP遷移最方便，把org.apache.commons.dbcp.BasicDataSource修改成om.alibaba.druid.pool.DruidDataSource就行了。 

Druid網站上提供了 Druid/DBCP/C3P0/JBoss/WebLogic的參數對照表，經過這個對照表來遷移你目前的配置。

其餘開發者如何反饋問題、提交bug？

Druid源碼託管在github.com上，項目地址是 https://github.com/AlibabaTech/druid。  你能夠在github上提交patch和issue（包括bug和新特性）。你也能夠加入咱們的QQ羣92748305，和開發者以及其餘用戶一塊兒交流。