Oracle的CLOB大數據字段類型

時間 2019-11-12

標籤 oracle clob 數據字段類型欄目 Oracle 简体版

原文原文鏈接

1、Oracle中的varchar2類型

咱們在Oracle數據庫存儲的字符數據通常是用VARCHAR2。VARCHAR2既分PL/SQL Data Types中的變量類型，也分Oracle Database中的字段類型，不一樣場景的最大長度不一樣。html
在Oracle Database中，VARCHAR2 字段類型，最大值爲4000；PL/SQL中 VARCHAR2 變量類型，最大字節長度爲32767。sql
當 VARCHAR2 容納不下咱們須要存儲的信息時，就出來的Oracle的大數據類型LOB( Large Object，大型對象)。數據庫

2、Oarcle中的LOB類型

在Oracle中，LOB（Large Object，大型對象）類型的字段如今用得愈來愈多了。由於這種類型的字段，容量大（最多能容納4GB的數據），且一個表中能夠有多個這種類型的字段，很靈活，適用於數據量很是大的業務領域（如圖象、檔案等）。apache
LOB類型分爲BLOB和CLOB兩種：BLOB即二進制大型對象（Binary Large Object），適用於存貯非文本的字節流數據（如程序、圖象、影音等）。服務器
而CLOB，即字符型大型對象（Character Large Object），則與字符集相關，適於存貯文本型的數據（如歷史檔案、大部頭著做等）。併發

3、DB中使用CLOB類型字段

（一）、建立表（使用sql或者直接在PL/SQL客戶端建立），字段類型CLOB

-- Create table
create table TEMP
(
  name      VARCHAR2(200),
  age       NUMBER,
  temp_clob CLOB
)
tablespace INSIGHTDATA3_TS
  pctfree 10
  initrans 1
  maxtrans 255
  storage
  (
    initial 160K
    next 1M
    minextents 1
    maxextents unlimited
  );

（二）、增刪改查

先看一下使用普通方式操做CLOB類型：

SELECT t.name, t.temp_clob FROM temp t; --普通查詢 INSERT INTO temp t VALUES ('Grand.Jon', 22, '加入博客園的第一天');oracle

　　查詢由於不是varchar2類型，因此普通查詢看不到CLOB類型的字段內容，結果以下app

而普通插入操做也會由於Oracle的隱式轉換，默認把字符串轉換成varchar2類型，一旦字符串內容超過varchar2的最大限度就會報會報ora-01704（字符串太長）錯誤。框架

正確操做

--使用PL/SQL語法，採起綁定變量的方式解決，而不是直接拼接SQL

DECLARE 
       V_LANG CLOB := '待插入的海量字符串';
       
       V_UPDATE CLOB := '更新的海量字符串';
BEGIN

  INSERT INTO temp t VALUES ('Grand.Jon', 22, V_LANG);        --增長

  UPDATE temp t SET t.temp_clob = V_UPDATE WHERE rownum = 1;  --修改

  SELECT t.NAME, dbms_lob.substr(t.temp_clob) FROM TEMP t;    --查詢　　將CLOB轉成字符類型

  DELETE temp t WHERE rownum = 1;                             --按列刪除　　

  COMMIT;

END;
/

對CLOB的操做咱們在存儲過程當中基本上使用 dbms_lob 中 substr , append , write 等方法。大數據

dbms_lob 方法總結

1 dbms_lob.createtemporary(V_SQL,true);     --建立一個臨時clob，用來存儲拼接的sql
2 dbms_lob.write(v_SQL,'寫入信息');          --寫入操做
3 dbms_lob.append(v_SQL,',');               --拼接clob
4 dbms_lob.substr(v_SQL);                   --截取clob，不傳參數就是所有讀取
5 dbms_lob.freetemporary(v_SQL);            --釋放clob

查詢結果以下：

4、在存儲過程當中使用CLOB類型實例

　　需求：以開發的存儲過程爲例，須要循環遍歷時間範圍拼接sql，將時間日期按列反轉（pivot），若是時間太長（1年以上）sql語句（varchar2）就會超出範圍報錯，這時候就須要使用CLOB來存儲拼接的sql。

PROCEDURE P_AND_CPT_RATIOOTH_APP_BAK2_N(
            V_APPIDS IN VARCHAR2,
            V_TYPE IN VARCHAR2,
            V_CHANNEL IN VARCHAR2,
            V_TABLE IN VARCHAR2,
            V_START IN VARCHAR2,
            V_END IN VARCHAR2,
            RESULT OUT mycursor
) IS


V_SQL CLOB;
V_SQLWHERE VARCHAR2(32767) default  '';
V_SQLWHERE_CHANNEL VARCHAR2(32767) default '';
V_SQL_DATES  CLOB;
V_Sdate  DATE;
V_Edate  DATE;
V_TABLE_DATE VARCHAR2(50);
V_TABLE_TYPE VARCHAR2(50);
V_START_DATE VARCHAR2(50);
V_END_DATE   VARCHAR2(50);

V_DAY VARCHAR2(50);

BEGIN
    select column_name into V_TABLE_DATE from user_tab_columns where table_name=''||V_TABLE||'' and column_id=1;
    select column_name into V_TABLE_TYPE from user_tab_columns where table_name=''||V_TABLE||'' and column_id=5;
  
    dbms_lob.createtemporary(V_SQL,true);--建立一個臨時lob
    dbms_lob.createtemporary(V_SQL_DATES,true);--建立一個臨時lob
    
    IF V_APPIDS is NOT NULL THEN
       V_SQLWHERE := 'AND t.appid in ('||V_APPIDS||')';
    END IF;

    IF V_CHANNEL IS NOT NULL THEN
       V_SQLWHERE_CHANNEL := 'AND t.channel = '''||V_CHANNEL||'''';
    END IF;
    
    IF V_TABLE_DATE = 'MON' THEN
       V_START_DATE := SUBSTR(V_START,0,6);
       V_END_DATE :=  SUBSTR(V_END,0,6);
       v_sdate := to_date(V_START_DATE, 'yyyymm');
       v_edate := to_date(V_END_DATE, 'yyyymm');
       
        WHILE (v_sdate <= v_edate) LOOP
              dbms_lob.append(v_SQL_DATES,to_char(v_sdate, 'yyyymm'));--把臨時字符串付給v_str
        IF v_sdate != v_edate THEN
              dbms_lob.append(v_SQL_DATES,',');--把臨時字符串付給v_str
        END IF;
        v_sdate := add_months(v_sdate,1);
    
        END LOOP;
    ELSE  --周和日 類型 都是 DAY
      
       v_sdate := to_date(V_START, 'yyyymmdd');
       v_edate := to_date(V_END, 'yyyymmdd');
       V_END_DATE :=  V_END;
       
       IF SUBSTR(V_TYPE,0,1)='d' THEN
            V_START_DATE := to_char(v_sdate, 'yyyymmdd');

            WHILE (v_sdate <= v_edate) LOOP
                  dbms_lob.append(v_SQL_DATES,to_char(v_sdate, 'yyyymmdd'));--把臨時字符串付給v_str
            IF v_sdate != v_edate THEN
                  dbms_lob.append(v_SQL_DATES,',');--把臨時字符串付給v_str
            END IF;
            v_sdate := v_sdate+1;
        
            END LOOP;
       
       ELSIF SUBSTR(V_TYPE,0,1)='w' THEN

           select to_char(V_Sdate,'d') INTO V_DAY from dual;
            IF V_DAY!=2 THEN
             V_Sdate:=V_Sdate-7;
            END IF;
          V_START_DATE := to_char(v_sdate, 'yyyymmdd');

          WHILE (v_sdate <= v_edate) LOOP
               select to_char(V_Sdate,'d') INTO V_DAY from dual;
              IF V_DAY=2 THEN
                 dbms_lob.append(v_SQL_DATES,to_char(v_sdate, 'yyyymmdd'));--把臨時字符串付給v_str
                 IF V_Edate-v_sdate >7 THEN
                   dbms_lob.append(v_SQL_DATES,',');--把臨時字符串付給v_str
                 END IF;

              END IF;
            v_sdate := v_sdate+1;
           END LOOP;

       END IF;

    END IF;
    
    dbms_lob.append(v_sql,'SELECT * FROM( SELECT *
            FROM '||V_TABLE||' t
           WHERE 
                 t.'||V_TABLE_TYPE||' = '''||V_TYPE||'''
             AND t.'||V_TABLE_DATE||' >= '''||V_START_DATE||'''
             AND t.'||V_TABLE_DATE||' <= '''||V_END_DATE||'''
             '||V_SQLWHERE||'         
             '||V_SQLWHERE_CHANNEL||' ) t1
 
           pivot(sum(MARKETSHARE)
             for '||V_TABLE_DATE||' in(');
             
    dbms_lob.append(v_sql,v_SQL_DATES);
    dbms_lob.append(v_sql,'))');
    dbms_output.put_line(v_sql);      
    OPEN result FOR v_sql;   
 
       dbms_lob.freetemporary(v_sql);--釋放lob
       dbms_lob.freetemporary(v_SQL_DATES);--釋放lob
       --dbms_output.put_line(V_SQLDATE);

      -- dbms_output.put_line(v_SQL_DATES);


--記錄操做日誌及錯誤日誌
END;

5、使用Java開發操做CLOB字段

（一）、原生JDBC處理CLOB類型

增長，通常會插入一個空的clob到數據庫對應的字段,而後鎖定該列，用Write將待插入字符串寫入進去。

　　　　　　重點：這兩步操做要放在同一個事務裏面。具體增長的方法以下:

public boolean save(Article article){
        boolean result = true;
        Connection conn = ConnectionUntils.getInstance();
        String sql = "insert into temp values(?,?,empty_clob())";
        //鎖住該列，防止併發寫入時候該字段同時被屢次寫入形成錯誤
        String sqlClob = "select temp_clob from temp t where t.name=? for update";
        PreparedStatement pst =null;
        ResultSet rs = null;
        Writer writer = null;
        try {
            conn.setAutoCommit(false);//設置不自動提交，開啓事務
            pst = conn.prepareStatement(sql);
            pst.setString(1,article.getName());
            pst.setString(2,article.getAge());
            pst.executeUpdate();

            pst= conn.prepareStatement(sqlClob);
            pst.setInt(1, article.getId());

            rs = pst.executeQuery();
            CLOB clob = null;
            if(rs.next()){
                try {
                    clob = (CLOB) rs.getClob(1);
                    writer = clob.getCharacterOutputStream(); //拿到clob的字符輸入流
                    writer.write(article.getContent());
                    writer.flush();
                    writer.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
            conn.commit();
        } catch (SQLException e) {
            result = false;
            try {
                conn.rollback();//當commit或者rollback後會自動釋放該列的鎖定
            } catch (SQLException e1) {
                e1.printStackTrace();
            }
            e.printStackTrace();
        } finally {
            conn.setAutoCommit(true);//還原
            ConnectionUntils.close(rs, pst, conn);
        }
        return result;
    }

update操做，update時候主要利用PreparedStatement的setClob方法:

public boolean update(String name,String content){
        int result = 0;
        Connection conn = ConnectionUntils.getInstance();
        String sql = "update temp set temp_clob=? where name=?";
        PreparedStatement pst =null;
        try {
            CLOB clob   = oracle.sql.CLOB.createTemporary(conn, false,oracle.sql.CLOB.DURATION_SESSION);
            clob.setString(1L, content);
            pst = conn.prepareStatement(sql);
            pst.setClob(1, clob);
            pst.setString(2,name);
            result = pst.executeUpdate();
        } catch (SQLException e) {
            e.printStackTrace();
        }finally{
            ConnectionUntils.close(null, pst, conn);
        }
        if(result==0)
            return false;
        return true;
    }

查詢就主要是從結果集ResultSet中定位到對應的字段後，往外讀：

    public Article select(String name){
        Article article = new Article();
        Connection conn = ConnectionUntils.getInstance();
        String sql = "select name,age,temp_clog from temp where name = ?";
        PreparedStatement pst =null;
        ResultSet rs = null;
        try {
            pst = conn.prepareStatement(sql);
            pst.setInt(1,id);
            rs = pst.executeQuery();
            StringBuilder builder = new StringBuilder();
            if(rs.next()){
                Clob clob = rs.getClob("temp_clog");
                Reader rd = clob.getCharacterStream();
                char [] str = new char[12];
                while(rd.read(str) != -1) {
                    builder.append(new String(str));
                }
                article.setContent(builder.toString());
                article.setName(rs.getString("name"));
                article.setAge(rs.getInt("age"));
            }
        } catch (SQLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }finally{
            ConnectionUntils.close(rs, pst, conn);
        }
        return article;
    }

（二）、Hibernate、Mybatis框架操做

這個由於框架都封裝集成好了，因此咱們使用的時候直接配置變量的類型爲CLOB就能夠。

　　譬如：Mybatis

<result column="temp_clob" property="content" jdbcType="Clob"  typeHandler="org.apache.ibatis.type.ClobTypeHandler"/>

　　貌似Hibernate5內部作了對應的處理，能夠直接當string類型同樣處理便可。

6、總結

　　雖然CLOB能解決VARCHAR2字符大小的限制，可是咱們的DBA們都不建議用這些來處理，可能效率問題吧，大的文件應該放在服務器上，而後Database中存響應地址便可。

        if ( U.read(me.Blog) ) $("#推薦").click();
        if ( U.copy(me.Blog) ) $("#u Blog").console("原文連接：http://www.cnblogs.com/Grand-Jon/p/7389427.html ");
        else me.Fuck(U);