【12c】Oracle 12c External Table 外部表

時間 2021-08-15

標籤 sql 數據庫服務器 oracle app ide 工具測試 this 日誌欄目 Oracle 简体版

原文原文鏈接

外部表在Oracle 9i中引入，外部表的特性是對現有SQL*Loader功能的補充，它可以使您訪問外部數據源中的數據，就像訪問數據庫中的表同樣。本篇就Oracle 12c中的外部表進行總結和演示，演示環境爲Oracle Database 12c Enterprise Edition Release 12.1.0.2.0。sql

1 外部表介紹

外部表是經過create table ... organization external語句建立的，當建立外部表時，需指定以下屬性：數據庫

TYPE：指定外部表的類型，即訪問驅動，訪問驅動運行在服務器內部的，這點和SQL*Loader不一樣，有兩種可用的類型，分別爲：
- ORACLE_LOADER：默認的訪問驅動，它能夠將數據從外部表加載到內部表，數據必須來自文本數據文件，但它不能將數據從內部表卸載到外部表；
- ORACLE_DATAPUMP：該訪問驅動能夠執行數據的加載和卸載，數據必須來自二進制轉儲文件，從外部表加載到內部表是經過從二進制轉儲文件中提取來完成，而從內部表卸載到外部表是經過填充外部表的二進制轉儲文件來完成的。轉儲文件一旦建立，能夠讀取任意次數，但不能被修改，也就是說，不能執行任何DML語句；
DEFAULT DIRECTORY：指定全部輸入輸出文件使用的默認目錄，位置是一個目錄對象，而不是一個目錄路徑，在建立外部表前必須先建立目錄對象，不然，會出錯；
ACCESS PARAMETERS：描述外部數據源，並實現指定的外部表的類型，每一種類型的外部表都有本身的訪問驅動程序，該驅動程序爲該類型的外部表提供惟一的訪問參數；
LOCATION：指定外部表的數據文件，文件命名方式爲directory:file，其中，目錄是可選的，若不指定，默認爲默認目錄。

2 外部表建立

外部表的建立能夠經過兩種訪問驅動實現，下面將分別介紹。服務器

2.1 建立目錄對象

SQL> ho mkdir /home/oracle/ext



SQL> create directory ext_dir as '/home/oracle/ext';



Directory created.

SQL> grant read,write on directory ext_dir to alen;



Grant succeeded.

2.2 ORACLE_LOAD訪問驅動

2.2.1 手動建立外部表

建立外部表時若是數據文件不是文本文件，則須要使用preprocessor子句。oracle

1）建立測試數據app

[oracle@odd ext]$ cat emp.dat

"EMPNO","ENAME","JOB","MGR","HIREDATE","SAL","COMM","DEPTNO"

"7369","SMITH","CLERK","7902","1980/12/17","800.00","","20"

"7499","ALLEN","SALESMAN","7698","1981/2/20","1600.00","300.00","30"

"7521","WARD","SALESMAN","7698","1981/2/22","1250.00","500.00","30"

"7566","JONES","MANAGER","7839","1981/4/2","2975.00","","20"

"7654","MARTIN","SALESMAN","7698","1981/9/28","1250.00","1400.00","30"

"7698","BLAKE","MANAGER","7839","1981/5/1","2850.00","","30"

"7782","CLARK","MANAGER","7839","1981/6/9","2450.00","","10"

"7788","SCOTT","ANALYST","7566","1987/4/19","3000.00","","20"

"7839","KING","PRESIDENT","","1981/11/17","5000.00","","10"

"7844","TURNER","SALESMAN","7698","1981/9/8","1500.00","0.00","30"

"7876","ADAMS","CLERK","7788","1987/5/23","1100.00","","20"

"7900","JAMES","CLERK","7698","1981/12/3","950.00","","30"

"7902","FORD","ANALYST","7566","1981/12/3","3000.00","","20"

"7934","MILLER","CLERK","7782","1982/1/23","1300.00","","10"

2）建立外部表ide

SQL> conn alen/alen@odd

Connected.

SQL> ho cat /home/oracle/ext/emp.sql

create table emp

(

empno number(4),

ename varchar2(10),

job varchar2(9),

mgr number(4),

hiredate date,

sal number(7,2),

comm number(7,2),

deptno number(2)

)

organization external --指定建立的表是外部表

(

type oracle_loader --外部表訪問驅動類型

default directory ext_dir --默認目錄，需提早建立

access parameters --設置訪問參數，注意前後順序，不然出錯

(

records delimited by newline

badfile ext_dir:'emp.bad'

discardfile ext_dir:'emp.dsc'

logfile ext_dir:'emp.log'

field names all files ignore

fields terminated by ',' optionally enclosed by '"' ldrtrim

reject rows with all null fields

(empno,

ename,

job,

mgr,

hiredate char(10) date_format date mask 'yyyy-mm-dd',

sal,

comm,

deptno

))

location('emp.dat')

)reject limit unlimited;

SQL> @emp.sql



Table created.



SQL> set linesize 200

SQL> select * from emp;



EMPNO ENAME JOB MGR HIREDATE SAL COMM DEPTNO

---------- ---------- --------- ---------- --------- ---------- ---------- ----------

7369 SMITH CLERK 7902 17-DEC-80 800 20

7499 ALLEN SALESMAN 7698 20-FEB-81 1600 300 30

7521 WARD SALESMAN 7698 22-FEB-81 1250 500 30

7566 JONES MANAGER 7839 02-APR-81 2975 20

7654 MARTIN SALESMAN 7698 28-SEP-81 1250 1400 30

7698 BLAKE MANAGER 7839 01-MAY-81 2850 30

7782 CLARK MANAGER 7839 09-JUN-81 2450 10

7788 SCOTT ANALYST 7566 19-APR-87 3000 20

7839 KING PRESIDENT 17-NOV-81 5000 10

7844 TURNER SALESMAN 7698 08-SEP-81 1500 0 30

7876 ADAMS CLERK 7788 23-MAY-87 1100 20



EMPNO ENAME JOB MGR HIREDATE SAL COMM DEPTNO

---------- ---------- --------- ---------- --------- ---------- ---------- ----------

7900 JAMES CLERK 7698 03-DEC-81 950 30

7902 FORD ANALYST 7566 03-DEC-81 3000 20

7934 MILLER CLERK 7782 23-JAN-82 1300 10



14 rows selected.

2.2.2 經過sqlldr建立外部表

外部表能夠手動寫SQL，也可使用sqlldr工具生成外部表，下面是具體建立過程。工具

1）建立控制文件測試

[oracle@odd ext]$ cat alen.ctl

load data

field names all files ignore

infile 'emp.dat'

badfile 'emp.bad'

discardfile 'emp.dsc'

into table alen

fields terminated by ',' optionally enclosed by '"'

(empno,

ename,

job,

mgr,

hiredate date 'yyyy-mm-dd',

sal,

comm,

deptno )

2）sqlldr利用generate_only生成外部表this

[oracle@odd ext]$ sqlldr alen/alen@odd control=alen.ctl external_table=generate_only log=alen.log



SQL*Loader: Release 12.1.0.2.0 - Production on Wed May 13 22:08:47 2020



Copyright (c) 1982, 2014, Oracle and/or its affiliates. All rights reserved.



Path used: External Table

3）查看日誌日誌

[oracle@odd ext]$ cat alen.log



SQL*Loader: Release 12.1.0.2.0 - Production on Wed May 13 22:08:47 2020



Copyright (c) 1982, 2014, Oracle and/or its affiliates. All rights reserved.



Control File: alen.ctl

Data File: emp.dat

Bad File: emp.bad

Discard File: emp.dsc

(Allow all discards)



Number to load: ALL

Number to skip: 0

Errors allowed: 50

Continuation: none specified

Path used: External Table



Table ALEN, loaded from every logical record.

Insert option in effect for this table: INSERT



Column Name Position Len Term Encl Datatype

------------------------------ ---------- ----- ---- ---- ---------------------

EMPNO FIRST * , O(") CHARACTER

ENAME NEXT * , O(") CHARACTER

JOB NEXT * , O(") CHARACTER

MGR NEXT * , O(") CHARACTER

HIREDATE NEXT * , O(") DATE 'yyyy-mm-dd'

SAL NEXT * , O(") CHARACTER

COMM NEXT * , O(") CHARACTER

DEPTNO NEXT * , O(") CHARACTER







CREATE TABLE statement for external table:

------------------------------------------------------------------------

CREATE TABLE "SYS_SQLLDR_X_EXT_ALEN"

(

"EMPNO" NUMBER(4),

"ENAME" VARCHAR2(10),

"JOB" VARCHAR2(9),

"MGR" NUMBER(4),

"HIREDATE" DATE,

"SAL" NUMBER(7,2),

"COMM" NUMBER(7,2),

"DEPTNO" NUMBER(2)

)

ORGANIZATION external

(

TYPE oracle_loader

DEFAULT DIRECTORY EXT_DIR

ACCESS PARAMETERS

(

RECORDS DELIMITED BY NEWLINE CHARACTERSET US7ASCII

BADFILE 'EXT_DIR':'emp.bad'

DISCARDFILE 'EXT_DIR':'emp.dsc'

LOGFILE 'alen.log_xt'

READSIZE 1048576

FIELD NAMES ALL FILES IGNORE

FIELDS TERMINATED BY "," OPTIONALLY ENCLOSED BY '"' LDRTRIM

REJECT ROWS WITH ALL NULL FIELDS

(

"EMPNO" CHAR(255)

TERMINATED BY "," OPTIONALLY ENCLOSED BY '"',

"ENAME" CHAR(255)

TERMINATED BY "," OPTIONALLY ENCLOSED BY '"',

"JOB" CHAR(255)

TERMINATED BY "," OPTIONALLY ENCLOSED BY '"',

"MGR" CHAR(255)

TERMINATED BY "," OPTIONALLY ENCLOSED BY '"',

"HIREDATE" CHAR(255)

TERMINATED BY "," OPTIONALLY ENCLOSED BY '"'

DATE_FORMAT DATE MASK 'yyyy-mm-dd',

"SAL" CHAR(255)

TERMINATED BY "," OPTIONALLY ENCLOSED BY '"',

"COMM" CHAR(255)

TERMINATED BY "," OPTIONALLY ENCLOSED BY '"',

"DEPTNO" CHAR(255)

TERMINATED BY "," OPTIONALLY ENCLOSED BY '"'

)

)

location

(

'emp.dat'

)

)REJECT LIMIT UNLIMITED





INSERT statements used to load internal tables:

------------------------------------------------------------------------

INSERT /*+ append */ INTO ALEN

(

EMPNO,

ENAME,

JOB,

MGR,

HIREDATE,

SAL,

COMM,

DEPTNO

)

SELECT

"EMPNO",

"ENAME",

"JOB",

"MGR",

"HIREDATE",

"SAL",

"COMM",

"DEPTNO"

FROM "SYS_SQLLDR_X_EXT_ALEN"





statements to cleanup objects created by previous statements:

------------------------------------------------------------------------

DROP TABLE "SYS_SQLLDR_X_EXT_ALEN"







Run began on Wed May 13 22:08:47 2020

Run ended on Wed May 13 22:08:47 2020



Elapsed time was: 00:00:00.47

CPU time was: 00:00:00.01

4）利用上述sql建立外部表SQL

[oracle@odd ext]$ cat alen.sql

CREATE TABLE alen

(

"EMPNO" NUMBER(4),

"ENAME" VARCHAR2(10),

"JOB" VARCHAR2(9),

"MGR" NUMBER(4),

"HIREDATE" DATE,

"SAL" NUMBER(7,2),

"COMM" NUMBER(7,2),

"DEPTNO" NUMBER(2)

)

ORGANIZATION external

(

TYPE oracle_loader

DEFAULT DIRECTORY EXT_DIR

ACCESS PARAMETERS

(

RECORDS DELIMITED BY NEWLINE CHARACTERSET US7ASCII

BADFILE 'EXT_DIR':'emp.bad'

DISCARDFILE 'EXT_DIR':'emp.dsc'

LOGFILE 'alen.log_xt'

READSIZE 1048576

FIELD NAMES ALL FILES IGNORE

FIELDS TERMINATED BY "," OPTIONALLY ENCLOSED BY '"' LDRTRIM

REJECT ROWS WITH ALL NULL FIELDS

(

"EMPNO" CHAR(255)

TERMINATED BY "," OPTIONALLY ENCLOSED BY '"',

"ENAME" CHAR(255)

TERMINATED BY "," OPTIONALLY ENCLOSED BY '"',

"JOB" CHAR(255)

TERMINATED BY "," OPTIONALLY ENCLOSED BY '"',

"MGR" CHAR(255)

TERMINATED BY "," OPTIONALLY ENCLOSED BY '"',

"HIREDATE" CHAR(255)

TERMINATED BY "," OPTIONALLY ENCLOSED BY '"'

DATE_FORMAT DATE MASK 'yyyy-mm-dd',

"SAL" CHAR(255)

TERMINATED BY "," OPTIONALLY ENCLOSED BY '"',

"COMM" CHAR(255)

TERMINATED BY "," OPTIONALLY ENCLOSED BY '"',

"DEPTNO" CHAR(255)

TERMINATED BY "," OPTIONALLY ENCLOSED BY '"'

)

)

location

(

'emp.dat'

)

)REJECT LIMIT UNLIMITED

5）刪除原alen表，建立外部表並驗證

SQL> drop table alen;



Table dropped.



SQL> @alen.sql

51 ;



Table created.



SQL> select count(1) from alen;



COUNT(1)

----------

14

2.3 ORACLE_DATAPUMP訪問驅動

建立外部表，除了使用ORACLE_LOADER驅動以外，還可使用ORACLE_DATAPUMP，使用ORACLE_DATAPUMP能夠實現數據的卸載和加載，經過create table as select 語句，ORACLE_DATAPUMP驅動能夠將數據寫到一個二進制的dump文件中，但該文件只能經過ORACLE_DATAPUMP訪問驅動進行訪問，並且，該文件一旦建立，不能被修改，能夠被屢次讀取。

2.3.1 卸載數據

1）建立測試數據

SQL> conn alen/alen@odd

Connected.

SQL> create table dept as select * from scott.dept;



Table created.



SQL> select * from dept;



DEPTNO DNAME LOC

---------- -------------- -------------

10 ACCOUNTING NEW YORK

20 RESEARCH DALLAS

30 SALES CHICAGO

40 OPERATIONS BOSTON

2）CTAS方式建立外部表

SQL> ho cat /home/oracle/ext/dept.sql

create table dept_xt

organization external

(

type oracle_datapump

default directory ext_dir

location('dept_xt.dump')

)

as select * from dept;



SQL> @/home/oracle/ext/dept.sql



Table created.

3）查看錶及dump文件

SQL> select * from dept_xt;



DEPTNO DNAME LOC

---------- -------------- -------------

10 ACCOUNTING NEW YORK

20 RESEARCH DALLAS

30 SALES CHICAGO

40 OPERATIONS BOSTON

SQL>ho ls /home/oracle/ext/dept_xt.dump

/home/oracle/ext/dept_xt.dump

4）修改外部表，出錯，即不能進行修改數據

SQL> update dept_xt set loc='SZ' where deptno=10;

update dept_xt set loc='SZ' where deptno=10

*

ERROR at line 1:

ORA-30657: operation not supported on external organized table

2.3.2 加載數據

能夠利用上面建立的dump文件建立新的外部表。

1）利用dump文件建立外部表，location位置能夠指定多個dump文件

SQL> ho cat /home/oracle/ext/alen_xt.sql

create table alen_xt

(

deptno number(2),

dname varchar2(14),

loc varchar2(13)

)

organization external

(

type oracle_datapump

default directory ext_dir

location('dept_xt.dump')

)

;

SQL> @/home/oracle/ext/alen_xt.sql



Table created.

2）查看數據

SQL> select * from alen_xt;



DEPTNO DNAME LOC

---------- -------------- -------------

10 ACCOUNTING NEW YORK

20 RESEARCH DALLAS

30 SALES CHICAGO

40 OPERATIONS BOSTON

經過上面的介紹和演示，能夠看出，外部表在使用上有很大的優點，尤爲是在批量處理外部數據的時候。