使用python對oracle進行簡單性能測試

1、概述

dba在工做中避不開的兩個問題，sql使用綁定變量到底會有多少的性能提高？數據庫的審計功能若是打開對數據庫的性能會產生多大的影響？最近剛好都碰到了，索性作個實驗。

1. sql使用綁定變量對性能的影響
2. 開通數據庫審計功能對性能的影響

實驗採用的辦法很簡單，就是經過python讀取csv文件，而後將其導入到數據庫中，最後統計程序執行完成所須要的時間

2、準備腳本

python腳本dataimporttest.py

# author: yangbao
# function: 經過導入csv，測試數據庫性能

import cx_Oracle
import time


# 數據庫鏈接串
DATABASE_URL = 'user/password@ip:1521/servicename'


class CsvDataImport:

    def __init__(self, use_bind):
        self.csv_name = 'test.csv'
        self.use_bind = use_bind
        if use_bind == 1:
            self.insert_sql = "insert into testtb values(:0, " \
                              "to_date(:1,'yyyy-mm-dd hh24:mi:ss'), " \
                              "to_date(:2,'yyyy-mm-dd hh24:mi:ss'), " \
                              ":3, :4, :5, :6, :7, :8, :9, :10, :11, :12, :13, :14, " \
                              ":15, :16, :17, :18, :19, :20, :21)"  # 使用綁定變量的sql
        else:
            self.insert_sql = "insert into testtb values({0}, " \
                              "to_date('{1}','yyyy-mm-dd hh24:mi:ss'), " \
                              "to_date('{2}','yyyy-mm-dd hh24:mi:ss'), " \
                              "{3}, {4}, '{5}', {6}, '{7}', {8}, {9}, {10}, {11}, {12}, {13}, {14}, " \
                              "{15}, {16}, {17}, {18}, {19}, {20}, {21})"  # 不使用綁定變量的sql

    def data_import(self):

            begin_time = time.perf_counter()

            try:
                conn = cx_Oracle.connect(DATABASE_URL)
                curs = conn.cursor()

                with open(self.csv_name) as f:
                    csv_contents = f.readlines()

                import_rows = 0

                message = '{} start to import'.format(self.csv_name)
                print(message)

                for line, csv_content in enumerate(csv_contents[1:]):

                    data = csv_content.split(',')
                    if self.use_bind == 1:
                        data = map(lambda x: None if x == '' else x, data)
                    else:
                        data = map(lambda x: 'null' if x == '' else x, data)
                    data = list(data)
                    data[-1] = data[-1].replace('\n', '')

                    if self.use_bind == 1:
                        curs.execute(self.insert_sql, data)  # 使用綁定變量的方式插入數據
                    else:
                        # print(self.insert_sql.format(*data))
                        curs.execute(self.insert_sql.format(*data))  # 使用非綁定變量的方式插入數據
                    import_rows += 1
                    if import_rows % 10000 == 0:
                        curs.execute('commit')
                        message = '{} has imported {} lines'.format(self.csv_name, import_rows)
                        print(message)

                conn.commit()
                curs.close()
                conn.close()

                end_time = time.perf_counter()

                elapsed = round(end_time - begin_time, 2)
                message = '{}, import rows: {}, use_bind: {}, elapsed: {}'.format(
                    self.csv_name, import_rows, self.use_bind, elapsed)
                print(message)

            except Exception as e:
                message = '{} import failed, reason: {}'.format(self.csv_name, str(e))
                print(message)


if __name__ == '__main__':
    CsvDataImport(use_bind=1).data_import()

csv文件
test.csv(內容略)

3、測試sql使用綁定變量對性能的影響

a. 使用綁定變量

對庫進行重啓，目的是清空數據庫內的全部緩存，避免對實驗結果產生干擾

SQL> startup force;
SQL> drop table yang.testtb purge;
SQL> create table yang.testtb as select * from yang.test where 1=0;

運行腳本python dataimporttest.py

結果：test.csv, import rows: 227795, use_bind: 1, elapsed: 260.31

b. 不使用綁定變量

對庫進行重啓

SQL> startup force;
SQL> drop table yang.testtb purge;
SQL> create table yang.testtb as select * from yang.test where 1=0;

將腳本的最後一行CsvDataImport(use_bind=1).data_import()改成CsvDataImport(use_bind=0).data_import()

運行腳本python dataimporttest.py

結果：test.csv, import rows: 227795, use_bind: 0, elapsed: 662.82

能夠看到一樣的條件下，程序運行的時間，不使用綁定變量是使用綁定變量的2.54倍

4、測試數據庫開啓審計功能對性能的影響

查看數據庫審計功能是否開啓

SQL> show parameter audit 
NAME           TYPE        VALUE
-------------- ----------- ----------
audit_trail    string      NONE

統計sys.aud$這張表的行數

SQL> select count(*) from sys.aud$;

  COUNT(*)
----------
         0

因此能夠直接拿第三步中的（a. 使用綁定變量）的結果做爲沒開通審計功能程序運行的時間

對庫開通審計功能，並進行重啓

SQL> alter system set audit_trail=db_extended scope=spfile;  # 若是設置成db，那麼在sys.aud$裏面sqltext將爲空，也就是說看不到用戶執行的sql語句，審計毫無心義
SQL> startup force;
SQL> drop table yang.testtb purge;
SQL> create table yang.testtb as select * from yang.test where 1=0;
SQL> audit insert table by yang;  # 開通對用戶yang的insert操做審計

將腳本的最後一行CsvDataImport(use_bind=0).data_import()改成CsvDataImport(use_bind=1).data_import()

運行腳本python dataimporttest.py

結果：test.csv, import rows: 227795, use_bind: 1, elapsed: 604.23

與前面使用綁定變量但沒有開通數據庫審計功能，程序運行的時間，開通數據庫審計功能是不開通數據庫審計功能的2.32倍

再來看看sys.aud$這張表的大小

SQL> select count(*) from sys.aud$;

  COUNT(*)
----------
    227798

因sys.aud$這張表中的sqltext與sqlbind都是clob字段，所以須要經過下面的sql去統計該表所佔用的空間

SQL> select sum(bytes) from dba_extents where segment_name in (
select distinct name from (select table_name, segment_name from dba_lobs where table_name='AUD$') 
unpivot(name for i in(table_name, segment_name)));

SUM(BYTES)
----------
 369229824

查看testtb這張表佔用的空間

SQL> select sum(bytes) from dba_extents where segment_name in ('TESTTB');

SUM(BYTES)
----------
  37748736

能夠看到對一個22萬行的csv數據導入到數據庫，審計的表佔用的空間就達到了驚人的360M，而testtb這張表自己也才37M而已

經過上面的實驗能夠得出，對於數據庫的審計功能，開通後會嚴重拖慢數據庫的性能以及消耗sysaux表空間！

5、總結

1. 代碼中儘可能使用綁定變量
2. 最好不要開通數據庫的審計，能夠經過堡壘機去實現對用戶操做審計（ps：還請你們推薦個堡壘機廠商，這個纔是本文最主要的目的^_）

實驗存在不嚴謹的地方，相關對比數據也僅做爲參考