經過Python腳本將DMP文件寫入AWS RDS oracle中

時間 2019-11-08

標籤經過 python 腳本 dmp 文件寫入 aws rds oracle 欄目 Python 简体版

原文原文鏈接

因爲RDS(oracle)不直接支持SSH,FTP(基於安全因素吧).因此原有系統expdp或exp出來的dmp文件，不能直接導入到RDS中。官方文檔裏建議經過networklink或者dblink的方式從原有數據庫遷移到RDS,考慮到網絡和安全因素，此方法暫被忽略掉。git

查找各類文檔發現，能夠經過Oracle自身的UTL_FILE包來寫dmp文件到RDS的文件夾裏，讀取EC2裏的本地文件部分經過Python腳本實現,這樣變相實現了，從EC2本地上傳到RDS的功能。github

代碼以下:數據庫

def cpy_to_rds():
    file_name = 'test4.dmp'
    src_name = 'c:/testdata/test4.dmp'
    #在RDS,DATA_PUMP_DIR下新建或者覆蓋一個空文件
    UTL_FILE_NEW_FILE = "DECLARE fi UTL_FILE.FILE_TYPE; BEGIN fi:=UTL_FILE.fopen('DATA_PUMP_DIR','{0}','wb',32766); UTL_FILE.fclose(fi); END;"
    #寫入RDS
    UTL_FILE_CREATE_FILE = "DECLARE " \
                           "fi UTL_FILE.FILE_TYPE; " \
                           "v_buffer RAW(32760); " \
                           "BEGIN " \
                           "v_buffer:= hextoraw('{1}') ; " \
                           "fi:=UTL_FILE.fopen('DATA_PUMP_DIR','{0}','ab');" \
                           "UTL_FILE.put_raw(fi,v_buffer);" \
                           "UTL_FILE.fclose(fi); " \
                           "END;"

    con = cx_Oracle.connect('User/Password@SID')
    cur = con.cursor()
    # 在RDS,DATA_PUMP_DIR下新建或者覆蓋一個空文件
    cur.execute(UTL_FILE_NEW_FILE.format(file_name))
    chunk = 3000
    f = open(src_name, 'rb')
    line = f.read(chunk)
    # 寫入RDS
    cur.execute(UTL_FILE_CREATE_FILE.format(file_name, line.hex()))
    while (len(line)) > 0:
        line = f.read(chunk)
        # 寫入RDS
        cur.execute(UTL_FILE_CREATE_FILE.format(file_name, line.hex()))
    cur.close()
    con.close()

須要注意的是chunk設置不能爲32760。安全

UTL_FILE_CREATE_FILE語句也能夠轉換爲RDS中的一個Function函數:網絡

create or replace function gen_dmp(i_name IN VARCHAR2, i_buffer IN RAW ) return varchar2 is
begin
declare
v_file  utl_file.file_type;
begin
v_file:=utl_file.fopen('DATA_PUMP_DIR',i_name,'ab');
utl_file.put_raw(v_file,i_buffer);
utl_file.fclose(v_file);
return 'OK';
end;
end;

在Python中調用此函數，這樣chunk就能夠設置到32767最大值了.oracle

def cpy_to_rds_func():
    file_name = 'tes4.dmp'
    src_name = 'c:/testdata/test4.dmp'
    UTL_FILE_NEW_FILE = "DECLARE fi UTL_FILE.FILE_TYPE; BEGIN fi:=UTL_FILE.fopen('DATA_PUMP_DIR','{0}','wb',32766); UTL_FILE.fclose(fi); END;"
    con = cx_Oracle.connect('User/Password@SID')
    cur = con.cursor()
    cur.execute(UTL_FILE_NEW_FILE.format(file_name))
    chunk = 32760
    f = open(src_name, 'rb')
    line = f.read(chunk)
    cur.callfunc('gen_dmp', cx_Oracle.STRING, (file_name, line))
    while (len(line)) > 0:
        line = f.read(chunk)
        cur.callfunc('gen_dmp', cx_Oracle.STRING, (file_name, line))
    cur.close()
    con.close()