從11小時到25秒--還有優化空間嗎?

    2015年5月的一天,客戶發來郵件請求幫助:一個SQL執行須要11個小時,執行計劃中使用nested loops好像效率差了些,能不能用hint讓優化器使用hash join,用use_hash 的 hint好像沒生效?sql


下面是客戶郵件原文截取:性能優化


SQL代碼以下:微信

SELECT DISTINCT N.ID_NBDL_TCIMS_PCFC_ORDER, M.POLICY_NO, N.POLICY_NOoracle

  FROM (SELECT /*+ USE_HASH(R,C) */oop

         C.ID_BSE_TCIMS_PCFC_ORDER,性能

         C.PRODUCT_CODE,優化

         D.INSURANT_CERTIFICATE_NUMBER,ui

         C.DATE_BEGIN,spa

         C.POLICY_NO.net

          FROM N_SM_PCFC_ORDER_MERGE_02_TMP R,

               BSE_TCIMS_PCFC_ORDER_BM_TMP  C,

               BSE_TCIMS_PCFC_INS_BM_TMP    D

         WHERE R.TCIMS_LIST_ID IS NULL

           AND R.RN = 1

           AND R.ID_NBDL_TCIMS_PCFC_ORDER = C.ID_BSE_TCIMS_PCFC_ORDER

           AND C.ID_BSE_TCIMS_PCFC_ORDER = D.ID_BSE_TCIMS_PCFC_ORDER

           AND C.PARENT_POLICY_NO IS NULL  OR INSTR(C.PARENT_POLICY_NO, 'tmp') > 0  

        ) M,

       NBDL_TCIMS_PCFC_ORDER N,

       NBDL_TCIMS_PCFC_INSURANT Q,

       BDL_TCIMS_PCFC_TB_PRODUCT K

 WHERE M.INSURANT_CERTIFICATE_NUMBER = Q.INSURANT_CERTIFICATE_NUMBER

   AND M.PRODUCT_CODE = K.NEW_PRODUCT_CODE

   AND N.PRODUCT_CODE = K.LAST_PRODUCT_CODE

   AND (M.DATE_BEGIN + 98) >= N.DATE_END

   AND N.DATE_END + 30 >= M.DATE_BEGIN

   AND N.POLICY_TYPE = 'NB'

   AND N.ID_NBDL_TCIMS_PCFC_ORDER = Q.ID_NBDL_TCIMS_PCFC_ORDER;


SQL當前執行計劃:

    其中第7步的nested loops操做確實是最消耗時間的一步:hint指定了N_SM_PCFC_ORDER_MERGE_02_TMP表要作hash join,但實際上仍是使用了nested loops 的join 方法,並且該表作爲被驅動表,使用全表掃描不正常。


  仔細分析了一些SQL代碼,發現紅色部分的業務邏輯極有多是有問題的,因而請求客戶找他們的研發人員確認,客戶答覆是這樣的:



老虎劉以爲客戶可能沒有真正去找研發去確認,因而發郵件再次請求確認,並告知若是這就是正確的業務邏輯,可優化的空間也不大:



客戶此次應該真的找研發確認了,確實是邏輯有問題。修正了SQL邏輯並執行,執行效率仍是不高:


    既然客戶一開始想讓執行計劃都使用hash join,那麼先嚐試一下,順便收集一下SQL執行過程的實際狀況,先加兩段hint:

SELECT /*+ leading(k m n q) use_hash(m) use_hash(n) use_hash(q) */

DISTINCT N.ID_NBDL_TCIMS_PCFC_ORDER, M.POLICY_NO, N.POLICY_NO

  FROM (SELECT /*+ no_merge leading(r c d) use_hash(c) use_hash(d)*/

         C.ID_BSE_TCIMS_PCFC_ORDER,

         C.PRODUCT_CODE,

         D.INSURANT_CERTIFICATE_NUMBER,

         C.DATE_BEGIN,

         C.POLICY_NO

          FROM N_SM_PCFC_ORDER_MERGE_02_TMP R,

               BSE_TCIMS_PCFC_ORDER_BM_TMP  C,

               BSE_TCIMS_PCFC_INS_BM_TMP    D

         WHERE R.TCIMS_LIST_ID IS NULL

           AND R.RN = 1

           AND R.ID_NBDL_TCIMS_PCFC_ORDER = C.ID_BSE_TCIMS_PCFC_ORDER

           AND C.ID_BSE_TCIMS_PCFC_ORDER = D.ID_BSE_TCIMS_PCFC_ORDER

           AND (C.PARENT_POLICY_NO IS NULL OR INSTR(C.PARENT_POLICY_NO, 'tmp') > 0) --已增長括號修正錯誤邏輯

        ) M, --14k

       NBDL_TCIMS_PCFC_ORDER N, --165w

       NBDL_TCIMS_PCFC_INSURANT Q,--1700w

       BDL_TCIMS_PCFC_TB_PRODUCT K--75

 WHERE M.INSURANT_CERTIFICATE_NUMBER = Q.INSURANT_CERTIFICATE_NUMBER

   AND M.PRODUCT_CODE = K.NEW_PRODUCT_CODE

   AND N.PRODUCT_CODE = K.LAST_PRODUCT_CODE

   AND (M.DATE_BEGIN + 98) >= N.DATE_END  AND N.DATE_END + 30 >= M.DATE_BEGIN

   AND N.POLICY_TYPE = 'NB'  --165w

   AND N.ID_NBDL_TCIMS_PCFC_ORDER = Q.ID_NBDL_TCIMS_PCFC_ORDER;   


第一次嘗試的結果是687秒,知道了各表通過謂詞條件和join 後返回的大體記錄數,同時也發現,並非所有的表關聯都使用hash纔是最優的:


由於NBDL_TCIMS_PCFC_INSURANT表沒有INSURANT_CERTIFICATE_NUMBER字段上的索引,因此第二次給出的優化建議是:

改n表作nested loops,同時用過leading調整表的關聯順序,q表與n表互換位置

SELECT /*+ leading(k m q n) use_hash(m) use_hash(q) use_nl(n)  */

DISTINCT N.ID_NBDL_TCIMS_PCFC_ORDER, M.POLICY_NO, N.POLICY_NO

  FROM (SELECT /*+ no_merge leading(r c d) use_hash(c) use_hash(d)*/

         C.ID_BSE_TCIMS_PCFC_ORDER,

         C.PRODUCT_CODE,

         D.INSURANT_CERTIFICATE_NUMBER,

         C.DATE_BEGIN,

         C.POLICY_NO

          FROM N_SM_PCFC_ORDER_MERGE_02_TMP R,

               BSE_TCIMS_PCFC_ORDER_BM_TMP  C,

               BSE_TCIMS_PCFC_INS_BM_TMP    D

         WHERE R.TCIMS_LIST_ID IS NULL

           AND R.RN = 1

           AND R.ID_NBDL_TCIMS_PCFC_ORDER = C.ID_BSE_TCIMS_PCFC_ORDER

           AND C.ID_BSE_TCIMS_PCFC_ORDER = D.ID_BSE_TCIMS_PCFC_ORDER

           AND (C.PARENT_POLICY_NO IS NULL OR INSTR(C.PARENT_POLICY_NO, 'tmp') > 0)

        ) M, --14k

       NBDL_TCIMS_PCFC_ORDER N, --165w

       NBDL_TCIMS_PCFC_INSURANT Q,--1700w

       BDL_TCIMS_PCFC_TB_PRODUCT K--75

 WHERE M.INSURANT_CERTIFICATE_NUMBER = Q.INSURANT_CERTIFICATE_NUMBER

   AND M.PRODUCT_CODE = K.NEW_PRODUCT_CODE

   AND N.PRODUCT_CODE = K.LAST_PRODUCT_CODE

   AND (M.DATE_BEGIN + 98) >= N.DATE_END  AND N.DATE_END + 30 >= M.DATE_BEGIN

   AND N.POLICY_TYPE = 'NB'  --165w

   AND N.ID_NBDL_TCIMS_PCFC_ORDER = Q.ID_NBDL_TCIMS_PCFC_ORDER; 

  第二次優化後,SQL的執行時間減小到25秒(並行度爲4,與原始SQL使用的並行度一致)


    到了這一步,老虎劉告訴客戶,若是在NBDL_TCIMS_PCFC_INSURANT表的INSURANT_CERTIFICATE_NUMBER字段上建立一個索引,能夠在不使用並行的狀況下執行時間減小到5秒左右。可是客戶已經以爲優化效果很是好了,不想再去建什麼索引了。



關注「老虎劉談SQL優化」,分享老虎劉那些年的SQL優化案例!

腳本分享在QQ羣:16778072


爲了方便你們與老虎劉交流,新建了一個微信羣:名字也是老虎劉談SQL優化


本文分享自微信公衆號 - 老虎劉談oracle性能優化(sql_tigerliu)。
若有侵權,請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」,歡迎正在閱讀的你也加入,一塊兒分享。

相關文章
相關標籤/搜索