宜信開源|數據庫審覈軟件Themis的規則解析與部署攻略

時間  2019-12-09
標籤 開源 數據庫 審覈 軟件 themis 規則 解析 部署 攻略 欄目 快樂工作 简体版
原文   原文鏈接

1、介紹

Themis是宜信公司DBA團隊開發的一款數據庫審覈產品，可幫助DBA、開發人員快速發現數據庫質量問題，提高工做效率。其名稱源自希臘神話中的正義與法律女神。項目取此名稱，寓意此平臺對數據庫質量公平判斷，明察秋毫。html

此平臺可實現對Oracle、MySQL數據庫進行多維度（對象結構、SQL文本、執行計劃及執行特徵）的審覈，用以評估對象結構設計質量及SQL運行效率。可幫助DBA及開發人員，快速發現定位問題；並提供部分輔助診斷能力，提高優化工做效率。所有操做都可經過WEB界面進行，簡單便捷。此外，爲了更好知足個性化需求，平臺還提供了擴展能力，用戶可根據須要自行擴展。python

Themis，是希臘正義與法律女神，以頭腦清晰見稱。項目採用此名稱，寓意着平臺可對數據庫質量公平判斷，明察秋毫之意。mysql

1.1 功能概述

  • 過後審覈，自主優化部分放在二期實現。亦可在項目設計階段引入，起到一部分事前審覈的做用。
  • 經過WEB界面完成所有工做，主要使用者是DBA和有必定數據庫基礎的研發人員。
  • 可針對某個用戶審覈，可審覈包括數據結構、SQL文本、SQL執行特徵、SQL執行計劃等多個維度。
  • 審覈結果經過WEB頁面或導出文件的形式提供。
  • 平臺支持主流的Oracle、MySQL數據庫，其餘數據庫放在二期實現。
  • 儘可能提供靈活定製的能力，便於往後擴展功能。

1.2 支持的數據庫

  • MySQL（5.6及以上）
  • Oracle（10g及以上)

1.3 審覈維度

  • 數據庫結果（對象）=》指數據庫對象，常見的表、分區、索引、視圖、觸發器等。
  • SQL文本（語句）=》指SQL語句文本自己。
  • SQL執行計劃=》指數據庫中SQL的執行計劃。
  • SQL執行特徵=》指語句在數據庫上的真實執行狀況。

1.4 實現原理

整個平臺的基本實現原理很簡單，就是將咱們的審覈對象（目前支持四種），經過規則集進行篩選。符合規則的審覈對象，都是疑似有問題的。平臺會將這些問題及關聯信息提供出來，供人工甄別使用。因而可知，平臺的功能強大與否，主要取決於規則集的豐富程度。平臺也提供了部分擴展能力，方便擴展規則集。git

1.5 平臺架構

圖中的方框部分，爲平臺的主要模塊。底色不一樣的模塊，表示當前的進度狀態不一樣。虛線表明數據流，實線表明控制流。其核心爲這幾個模塊：github

  • 數據採集模塊。它是負責從數據源抓取審覈須要的基礎數據。目前支持從Oracle、MySQL抓取。
  • OBJ/SQL存儲庫。這是系統的共同存儲部分，採集的數據和處理過程當中的中間數據、結果數據都保存在這裏。其核心數據分爲對象類和SQL類。物理是採用的MongoDB。
  • 核心管理模塊。圖中右側虛線部分包含的兩個模塊：SQL管理和OBJ管理就是這部分。它主要是完成對象的全生命週期管理。目前只作了簡單的對象過濾功能，所以仍是白色底色，核心的功能還沒有完成。
  • 審覈規則和審覈引擎模塊。這部分是平臺一期的核心組件。審覈規則模塊是完成規則的定義、配置工做。審覈引擎模塊是完成具體規則的審覈執行部分。
  • 優化規則和優化引擎模塊。這部分是平臺二期的核心組件。目前還沒有開發，所以爲白色底色。
  • 系統管理模塊。這部分是完成平臺基礎功能，例如任務調度、空間管理、審覈報告生成、導出等功能。

1.6 操做流程

2、環境搭建

本項目中會使用到mysql，mongo和redis，python支持2.六、2.7，暫不支持python3。web

mysql用來存儲pt-query-digest抓取的mysql的慢查詢，mongo存儲咱們的規則、oracle的採集結果、執行job，解析結果集等，redis做爲任務調度celery的隊列。redis

在mysql的數據採集部分咱們使用的是pt-query-digest工具。sql

2.1 依賴安裝

新建用戶

爲了減小後面對supervisord.conf配置文件的修改，咱們建議使用統一的用戶進行安裝mongodb

    adduser themis-test
    su - themis-test

 

後面的操做除了virtualenv安裝須要切換到root用戶，其餘的都默認在themis-test用戶下安裝數據庫

安裝cx_Oracle依賴

因爲在審覈過程當中須要鏈接oracle數據庫，所以須要先安裝cx_Oracle的依賴，參考：http://www.jianshu.com/p/pKz5K7

安裝python依賴

首先安裝virtualenv，參考連接：https://pypi.python.org/simple/virtualenv/，建議安裝13.0.3或更新版本

若是聯網不方便，或者在公司內網，能夠從https://pan.baidu.com/s/1o7AIWlG下載壓縮包，提取碼：3sy3

壓縮包裏包括全部須要用到的依賴包

安裝virtualenv

tar -zxvf virtualenv-13.0.3.tar.gz
cd virtualenv-13.1.0
python setup.py install

 

關於virtualenv的使用請參考：https://virtualenv.pypa.io/en/stable/

安裝其餘依賴

首先初始化虛擬環境

virtualenv python-project --python=python2.7
source /home/themis-test/python-project/bin/activate

 

解釋一下上面的命令：virtualenv的第二個參數python-project是咱們創建的虛擬環境的名稱，這個名稱咱們雖然能夠隨便定義，可是後面supervisor的配置中使用了此名稱，建議使用默認的，你們若是對python比較熟悉，能夠隨意定義。後面咱們指定了python的版本,--python能夠不加，默認會使用系統自帶的python版本構建虛擬環境，當有多個版本的python時，可使用此命令指定版本。

下面使用source初始化虛擬環境，之後安裝的包依賴等都會被裝到/home/themis-test/python-project/home/themis-test/python2.7/lib/python2.7/site-packages這裏。

若是能夠聯網，進入源代碼目錄使用以下命令

pip install -r requirement.txt

 

單獨安裝Pyh,下載地址：https://github.com/hanxiaomax/pyh

unzip pyh-master.zip
cd pyh-master
python setup.py install

 

若是在局域網環境不方便聯網請利用的上面網盤裏提供的壓縮包

pip install --no-index -f file:///home/themis-test/software -r requirement.txt

 

file:///home/themis-test/software是壓縮包解壓的位置

2.2 配置文件介紹

下面以配置文件settings.py爲例子說明須要的一些依賴

# # set oracle ipaddress, port, sid, account, password
# ipaddres : port -> key
ORACLE_ACCOUNT = {
    # oracle
    "127.0.0.1:1521": ["cedb", "system", "password"]
}

# set mysql ipaddress, port, account, password
MYSQL_ACCOUNT = {
    "127.0.0.1:3307": ["mysql", "user", "password"]
}

# pt-query save data for mysql account, password
PT_QUERY_USER = "user"
PT_QUERY_PORT = 3306
PT_QUERY_SERVER = "127.0.0.1"
PT_QUERY_PASSWD = "password"
PT_QUERY_DB = "slow_query_log"

# celery setting
REDIS_BROKER = 'redis://:password@127.0.0.1:6379/0'
# REDIS_BROKER = 'redis://:@127.0.0.1:6379/0'


REDIS_BACKEND = 'redis://:password@127.0.0.1:6379/0'
# REDIS_BACKEND = 'redis://:@127.0.0.1:6379/0'


CELERY_CONF = {
    "CELERYD_POOL_RESTARTS": True
}

# mongo server settings
MONGO_SERVER = "127.0.0.1"
MONGO_PORT = 27017
# MONGO_USER = "sqlreview"
MONGO_USER = "sqlreview"
# MONGO_PASSWORD = ""
MONGO_PASSWORD = "sqlreview"
MONGO_DB = "sqlreview"

# server port setting
SERVER_PORT = 7000

# capture time setting
CAPTURE_OBJ_HOUR = "18"
CAPTURE_OBJ_MINUTE = 15
CAPTURE_OTHER_HOUR = "18"
CAPTURE_OTHER_MINUTE = 30

 

ORACLE_ACCOUNT和MYSQL_ACCOUNT是咱們須要審覈的目標機器的賬號和密碼，主要是在數據採集部分和對象類審覈以及mysql的執行計劃類審覈部分會用到，所以該賬號因該具備較高的權限，爲了安全在生產環境應該設置專有的賬號並設置專有的權限，或者加上一些ip的限制等。

PT_QUERY_USER、PT_QUERY_PORT、PT_QUERY_SERVER、PT_QUERY_PASSWD、PT_QUERY_DB是咱們pt-query-digest工具解析目標機器的慢sql後須要存儲到的mysql數據庫的一些配置。

REDIS_BROKER、REDIS_BACKEND、CELERY_CONF是任務調度工具celery的配置選項。

MONGO_SERVER、MONGO_PORT、MONGO_USER、MONGO_PASSWORD、MONGO_DB是須要存儲結果集的mongo的配置選項。

SERVER_PORT是web管理端監聽的端口，不要使用9000和5555端口，這兩個被分配給了文件下載服務器和flower管理工具。

CAPTURE_OBJ_HOUR、CAPTURE_OBJ_MINUTE、CAPTURE_OTHER_HOUR、CAPTURE_OTHER_MINUTE是針對oracle的數據採集模塊須要設置的採集時間，根據本身的實際狀況設置不一樣的時間便可，避開業務高峯期。

請按照相關說明配置該文件

2.3 規則導入

進入源代碼目錄，使用以下命令進行規則初始化

mongoimport -h 127.0.0.1 --port 27017 -u sqlreview -p password -d sqlreview -c rule --file script/rule.json

 

3、數據採集

數據採集分爲oracle部分和mysql部分，oracle部分使用的是本身開發的一些腳本，mysql使用的是pt-query-digest工具。

數據採集的頻率默認是一天一次，能夠根據本身的須要進行修改。

oracle部分依賴於celery的任務調度，會用supervisor託管，pt-query-digest能夠加到crontab裏。

3.1 oracle部分

手動數據採集

手動採集oracle obj信息

配置data/capture_obj.json文件

{
    "module": "capture",   
    "type": "OBJ",    
    "db_type": "O",    
    "db_server": "127.0.0.1",    
    "db_port": 1521,   
    "capture_date": "2017-02-28"
}

 

只須要配置db_server和dbport選項，oracle的端口要求是1521，capture_date指定採集數據的日期，如今只支持按天採集

執行命令

python command.py -m capture_obj -c data/capture_obj.json

 

手動採集oracle other信息，包括plan、stat、text信息。

配置data/capture_other.json文件。

{
    "module": "capture",   
    "type": "OTHER",    
    "db_type": "O",    
    "db_server": "127.0.0.1",    
    "db_port": 1521,    
    "capture_date": "2017-02-28"
}

 

配置方式同上面的obj

執行命令

python command.py -m capture_obj -c data/capture_obj.json

 

手動採集數據通常用於初次採集，後面通常都會經過自動採集完成。

自動數據採集

配置settings.py文件裏的ORACLE_ACCOUNT，該帳號須要具備查詢全部表的權限，即select any table。

ORACLE_ACCOUNT = {    
    # oracle    
    "127.0.0.1:1521": ["cedb", "system", "password"]
}

 

配置調度時間

# capture time setting
CAPTURE_OBJ_HOUR = "18"
CAPTURE_OBJ_MINUTE = 15
CAPTURE_OTHER_HOUR = "18"
CAPTURE_OTHER_MINUTE = 30

 

若是不對oracle數據庫審覈，能夠不用配置

3.2 mysql部分

pt-query-digest使用

  • 能夠將慢日誌集中到一個地方，再集中入庫
  • 也能夠在每臺mysql機器上安裝pt-query-digest,再將解析結果推送到存儲機器上。

本平臺採用第二種方案

從 https://www.percona.com/get/pt-query-digest 下載並安裝pt-query-digest，若是缺乏依賴使用yum安裝。

使用scirpt/pt_query_digest.sql初始化表結構,不要使用默認的表結構。

在目標機器上配置好script/pt-query-digest.sh腳本:

pt-query-digest --user=root --password=password --review h=127.0.0.1,D=slow_query_log,t=global_query_review --history h=127.0.0.1,D=slow_query_log,t=global_query_review_history --no-report --limit=0% --filter=" \$event->{Bytes} = length(\$event->{arg}) and \$event->{hostname}='127.0.0.1:3306' and \$event->{client}=\$event->{ip}" slow.log

 

$event->{hostname}='127.0.0.1:3306' 爲被蒐集慢日誌的機器的ip地址和端口號。

主要是配置存儲解析結果的mysql機器的賬號，密碼，機器ip，端口號，以及慢日誌的位置等。

運行pt-query-digest.sh腳本開始蒐集mysql慢查詢數據，後面能夠將其加入定時任務，按固定時間段蒐集。

4、規則解析

規則解析分爲四塊：對象類規則解析、文本類規則解析、執行計劃類規則解析、統計信息類規則解析。每一個模塊均可以使用手動或自動的方式進行。

4.1 對象類規則解析

手動解析oracle對象類信息

配置data/analysis_o_obj.json文件

{
    "module": "analysis",
    "type": "OBJ",
    "db_server": "127.0.0.1",
    "db_port": 1521,
    "username": "schema",
    "db_type": "O",
    "rule_type": "OBJ",
    "rule_status": "ON",
    "create_user": "system",
    "task_ip": "127.0.0.1",
    "task_port": 1521
}

 

配置db_server、db_port、username、create_user、task_ip選項，其餘的保持默認便可，username是須要審覈的目標對象的名字。

python command.py -m analysis_o_obj -c data/analysis_o_obj.json

 

使用上面的命令開始採集obj數據

手動解析mysql對象類數據

配置data/analysis_m_obj.json文件

{
    "module": "mysql",
    "type": "OBJ",
    "db_server": "127.0.0.1",
    "db_port": 3306,
    "username": "schema",
    "db_type": "mysql",
    "rule_type": "OBJ",
    "rule_status": "ON",
    "create_user": "mysqluser",
    "task_ip": "127.0.0.1",
    "task_port": 3306
}

 

配置db_server、db_port、username、create_user、task_ip、db_port選項，其餘的保持默認便可。

運行命令：

python command.py -m analysis_m_obj -c data/analysis_m_obj.json

 

oracle和mysql對象類規則是不須要依賴於採集的數據的，它是直接鏈接到數據庫裏進行查詢的，因爲有的庫較大可能時間會比較久，建議在業務低峯期進行。

4.2 文本類規則解析

手動解析oracle文本類規則

配置data/analysis_o_text.json文件

{
    "module": "analysis",
    "type": "TEXT",
    "username": "schema",
    "create_user": "SYSTEM",
    "db_type": "O",
    "sid": "cedb",
    "rule_type": "TEXT",
    "rule_status": "ON",
    "hostname": "127.0.0.1",
    "task_ip": "127.0.0.1",
    "task_port": 1521,
    "startdate": "2017-02-23",
    "stopdate": "2017-02-23"
}

 

配置sid、username、create_user、task_ip、hostname、startdate、stopdate選項，因爲數據是按天採集的，所以暫時只支持startdate和stopdate保持一致，hostname和task_ip能夠保持一致，其餘的保持默認便可。

執行下面的命令便可以進行規則解析：

python command.py -m analysis_o_plan -c data/analysis_o_plan.json

 

手動解析mysql文本類規則

配置data/oracle_m_text.json文件

    "module": "analysis",
    "type": "TEXT",
    "hostname_max": "127.0.0.1:3306",
    "username": "schema",
    "create_user": "mysqluser",
    "db_type": "mysql",
    "rule_type": "TEXT",
    "rule_status": "ON",
    "task_ip": "127.0.0.1",
    "task_port": 3306,
    "startdate": "2017-02-21 00:00:00",
    "stopdate": "2017-02-22 23:59:00"
}

 

配置username、create_user、taskip、taskport、hostname、hostname_max、startdate、stopdate選項，hostname和task_ip能夠保持一致，其餘的保持默認便可。

運行下面的命令便可以進行規則解析：

python command.py -m analysis_m_text -c data/analysis_m_text.json

 

上面兩步中的username爲須要審覈的對象。

4.3 執行計劃類規則解析

oracle plan類型規則解析

配置data/analysis_o_plan.json文件

 {
        "module": "analysis",
        "type": "SQLPLAN",
        "capture_date": "2017-02-23",
        "username": "schema",
        "create_user": "SYSTEM",
        "sid": "cedb",
        "db_type": "O",
        "rule_type": "SQLPLAN",
        "rule_status": "ON",
        "task_ip": "127.0.0.1",
        "task_port": 1521
 }

 

主要是對capture_date,username, create_user, sid,db_type,rule_type,task_ip,task_port參數進行配置，type分爲SQLPLAN,SQLSTAT,TEXT,OBJ四種類型，rule_type的類型同SQLPLAN，只不過一個是表明模塊的類型，一個表明規則的類型，db_type分爲"O"和「mysql」兩種類型，分別表明oracle和mysql，capture_date爲咱們欠扁配置的數據的抓取日期。

python command.py -m analysis -c data/analysis_o_plan.json

 

運行上面的命令便可生成解析結果。

mysql plan規則解析

配置data/analysis_m_plan.json文件

  {
        "module": "analysis",
        "type": "SQLPLAN",
        "hostname_max": "127.0.0.1:3306",
        "db_server": "127.0.0.1",
        "db_port": 3306,
        "username": "schema",
        "db_type": "mysql",
        "rule_status": "ON",
        "create_user": "mysqluser",
        "task_ip": "127.0.0.1",
        "rule_type": "SQLPLAN",
        "task_port": 3306,
        "startdate": "2017-02-21 00:00:00",
        "stopdate": "2017-02-22 23:59:00"
    }

 

type類型的含義同上面oracle，hostname_max爲mysql的ip:端口號的形式，每個hostname_max表明一個mysql實例，startdate和stopdate須要加上時、分、秒，這一點同oracle不大同樣。

python command.py -m analysis -c data/analysis_m_plan.json

 

而後運行上面的命令進行mysql的plan的規則解析。

4.4 執行特徵類規則解析

oracle stat類型規則解析

配置data/analysis_o_stat.json文件

{
    "module": "analysis",
    "type": "SQLSTAT",
    "capture_date": "2017-02-23",
    "username": "schema",
    "create_user": "SYSTEM",
    "sid": "cedb",
    "db_type": "O",
    "rule_type": "SQLSTAT",
    "rule_status": "ON",
    "task_ip": "127.0.0.1",
    "task_port": 1521
}

 

配置sid、username、create_user、task_ip、capture_date選項,其餘保持默認便可。

運行命令：

python command.py -m analysis_o_stat -c data/analysis_o_stat.json

 

進行數據採集。

mysql stat類型規則解析

配置文件data/analysis_m_text.json

{
    "module": "analysis",
    "type": "SQLSTAT",
    "hostname_max": "127.0.0.1:3306",
    "db_server": "127.0.0.1",
    "db_port": 3306,
    "username": "schema",
    "db_type": "mysql",
    "rule_status": "ON",
    "create_user": "mysqluser",
    "task_ip": "127.0.0.1",
    "rule_type": "SQLSTAT",
    "task_port": 3306,
    "startdate": "2017-02-21 00:00:00",
    "stopdate": "2017-02-22 23:59:00"
}

 

配置username、create_user、task_ip、task_port、hostname、hostname_max、startdate、stopdate選項，hostname和task_ip能夠保持一致，其餘的保持默認便可。

運行命令：

python command.py -m analysis_m_text -c data/analysis_m_text.json

 

進行數據採集。

4.5 自動規則解析

上面介紹的手動規則解析都是能夠進行測試，或者在一些特殊狀況下使用，大部分狀況咱們會使用自動規則解析。

自動規則解析咱們使用celery來完成，關於celery 的使用，請參考http://docs.celeryproject.org/en/master/getting-started/first-steps-with-celery.html。

下面是經常使用的一些關於celery的命令:

開啓規則解析
celery -A task_other worker -E -Q sqlreview_analysis -l info
開啓任務導出
celery -A task_exports worker -E -l info
開啓obj信息抓取
celery -A task_capture worker -E -Q sqlreview_obj -l debug -B -n celery-capture-obj
開啓flower
celery flower --address=0.0.0.0 --broker=redis://:password@127.0.0.1:6379/
開啓plan、stat、text抓取
celery -A task_capture worker -E -Q sqlreview_other -l info -B -n celery-capture-other

 

最後咱們會將規則解析都加入到supervisor託管，而後經過web界面生成任務，而後用celery進行調度，經過flower查看任務執行狀態。

關於具體使用請參考supervisor的配置。

5、任務導出

5.1 手動任務導出

配置data/export.json文件

{
    "module": "export",
    "type": "export",
    "task_uuid": "08d03ec6-f80a-11e6-adbc-005056a30561",
    "file_id": "08d03ec6-f80a-11e6-adbc-005056a30561"
}

 

配置task_uuid和file_id選項，這是任務的惟一標誌，能夠經過從mongo中sqlreview庫中job集合查看，而後運行：

python command.py -m export -c data/export.json

 

進行手動任務導出，會生成離線的html壓縮包，保存在task_export/downloads下，能夠直接解壓，而後經過瀏覽器打開查看報告。

5.2 自動任務導出

經過在celery配合supervisor託管來實現，具體可參考supervisor的配置。

6、web管理端

6.1 手動開啓web管理端

執行以下命令

python command.py -m web -c data/web.json

 

訪問 http://127.0.0.1:7000 便可打開管理端

7、supervisor配置

7.1 supervisor配置

;web管理端開啓
[program:themis-web]
command=/home/themis-test/python-project/bin/python command.py -m web -c data/web.json
autostart=true
redirect_stderr=true
stdout_logfile=tmp/themis_web.log
loglevel=info

;開啓文件下載服務器
[program:themis-download]
command=/home/themis-test/python-project/bin/python task_export/file_download.py
autostart=true
redirect_stderr=true
stdout_logfile=tmp/themis_download.log
loglevel=info

;開啓任務導出模塊
[program:themis-export]
command=/home/themis-test/python-project/bin/celery -A task_exports worker -E -l info
autostart=true
redirect_stderr=true
stdout_logfile=tmp/themis_export.log
loglevel=info
;開啓規則解析模塊
[program:themis-analysis]
command=/home/themis-test/python-project/bin/celery -A task_other worker -E -Q sqlreview_analysis -l info
autostart=true
redirect_stderr=true
stdout_logfile=tmp/themis_analysis.log
loglevel=info
;開啓obj信息抓取模塊
[program:themis-capture-obj]
command=/home/themis-test/python-project/bin/celery -A task_capture worker -E -Q sqlreview_obj -l debug -B -n celery-capture-obj
autostart=true
redirect_stderr=true
stdout_logfile=tmp/themis_capture_obj.log
loglevel=info
;開啓plan、stat、text信息抓取模塊
[program:themis-capture-other]
command=/home/themis-test/python-project/bin/celery -A task_capture worker -E -Q sqlreview_other -l info -B -n celery-capture-other
autostart=true
redirect_stderr=true
stdout_logfile=tmp/themis_capture_other.log
loglevel=info
;celery的任務管理模塊,去掉前邊的";"便可開啓，須要配置redis的鏈接方式
;[program:themis-flower]
;command=/home/themis-test/python-project/bin/celery flower --address=0.0.0.0 --broker=redis://:password@127.0.0.1:6379/0
;autostart=true
;redirect_stderr=true
;stdout_logfile=tmp/themis_flower.log
;loglevel=info

 

注意：若是前邊創建的用戶不一樣或者使用了不一樣的目錄，須要將這個文件裏的/home/themis-test/python-project/替換爲本身的路徑。

supervisor經常使用命令

開啓supervisor
supervisord -c script/supervisord.conf
重載supervisor
supervisorctl -u sqlreview -p sqlreview.themis reload
進入supervisor管理控制檯,這裏的-u,-p表明supervisorctl的用戶名和密碼，在supervisord.conf中配置
supervisorctl -u username -p password

 

參考：http://www.supervisord.org/

8、內置規則說明

平臺的核心就是規則。規則是一組過濾條件的定義及實現。規則集的豐富程度，表明了平臺的能力。平臺也提供了擴展能力，用戶可自行定義規則。 從分類來看，規則可大體分爲幾類。

8.1 規則分類

  • 從數據庫類型來區分，規則可分爲Oracle、MySQL。不是全部規則都區分數據庫，文本類的規則就不區分。
  • 從複雜程度來區分，規則可分爲簡單規則和複雜規則。這裏的簡單和複雜，實際是指規則審覈的實現部分。簡單規則是能夠描述爲mongodb或關係數據庫的一組查詢語句；而複雜規則是須要在外部經過程序體實現的。
  • 從審覈對象角度來區分，規則可分爲對象類、文本類、執行計劃類和執行特徵類。

8.2 規則參數

規則能夠包含參數。例如:執行計劃規則中，有個是大表掃描。這裏就須要經過參數來限定大表的定義，可經過物理大小來指定。

8.3 規則權重及閥值

  • 權重 權重，表明違反規則，一次扣幾分。可根據自身狀況進行調節。
  • 閥值 閥值，表明違反規則的扣分上限。這裏主要是爲了不違反單一規則過多，致使忽略了其餘規則。

規則權重及扣分，最終會累積爲一個總的扣分，平臺會按百分制進行折算。經過這種方式，可起到必定的量化做用。

8.4 規則_對象類（Oracle部分）

8.5 規則_對象類（MySQL部分）

8.6 規則_執行計劃類（Oracle部分）

8.7 規則_執行計劃類（MySQL部分）

8.8 規則_執行特徵類（Oracle部分）

8.9 規則_執行特徵類（MySQL部分）

8.10 規則_文本類

9、常見問題

  • 主機名稱不一致，致使cx_Oracle出錯。
  • celery與flower版本不一致，致使flower不能啓動，升級flower到0.8.1以上。
  • mysql5.7不能初始化datetime默認類型爲(DEFAULT '0000-00-00 00:00:00)。
  • mongodb文檔最大插入數據有限制，致使生成結果時插入文檔失敗。
  • 在oracle獲取用戶的時候，有的系統可能會將用戶建到users下，所以須要將 NOT IN ('USERS', 'SYSAUX'))改爲 NOT IN ('SYSAUX'))

文件位置：capture/sql.py webui/utils/fprivdbuserlist.py

有些狀況下須要安裝python-devel，centos安裝 yum install python-devel

mysqldb安裝問題參考：http://blog.csdn.net/wklken/article/details/7271019

10、異常處理

程序中間出了差錯能夠經過開啓flower來查看，或者經過手工執行的方式進行查看代碼。

flower的開啓能夠經過在supervisor中配置或者

;celery的任務管理模塊,去掉前邊的";"便可開啓，須要配置redis的鏈接方式
;[program:themis-flower]
;command=/home/themis-test/python-project/bin/celery flower --address=0.0.0.0 --broker=redis://:password@127.0.0.1:6379/0
;autostart=true
;redirect_stderr=true
;stdout_logfile=tmp/themis_flower.log
;loglevel=info

 

也能夠手工開啓：

celery flower --address=0.0.0.0 --broker=redis://:password@127.0.0.1:6379/0

 

不過都須要配置redis認證選項。

11、加入開發

有問題能夠直接在 https://github.com/CreditEaseDBA/Themis/issues 提出。

來源：宜信技術學院

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程