SqlServer批量插入(SqlBulkCopy、表值參數)

以前作項目須要用到數據庫的批量插入,因而就研究了一下,如今作個總結。

建立了一個用來測試的Student表:html

CREATE TABLE [dbo].[Student]( [ID] [int] PRIMARY KEY NOT NULL, [Num] [varchar](10) NULL, [Name] [nvarchar](64) NULL, [Age] [int] NULL )

1、SqlBulkCopy類:使用數據庫BCP協議進行數據的批量複製,每一批的數量大約800條。sql

/// <summary>
        /// 批量插入SqlBulkCopy /// </summary>
        /// <param name="dt"></param>
        /// <param name="tableName">表名</param>
        public static void BatchInsertBySqlBulkCopy(DataTable dt, string tableName) { using (SqlBulkCopy sbc = new SqlBulkCopy(connString)) { sbc.BatchSize = dt.Rows.Count; sbc.BulkCopyTimeout = 10; sbc.DestinationTableName = tableName; for (int i = 0; i < dt.Columns.Count; i++) { sbc.ColumnMappings.Add(dt.Columns[i].ColumnName, i); } //所有寫入數據庫
 sbc.WriteToServer(dt); } }

 

5萬條數據插入花了2秒的時間:



2、表值參數:也叫表變量參數,使用用戶定義的表類型來聲明,簡單理解就是能夠把一個表當作參數傳遞。數據庫

CREATE TYPE [dbo].[mytb_student] AS TABLE( [ID] [int] NOT NULL, [Num] [varchar](10) NULL, [Name] [nvarchar](64) NULL, [Age] [int] NULL )

    /// <summary>
        /// 批量插入使用表值參數 /// </summary>
        /// <param name="dt"></param>
        public static void BatchInsertByTableValue(DataTable dt, string sqlText) { using (SqlConnection sqlConn = new SqlConnection(connString)) { using (SqlCommand sqlCmd = new SqlCommand(sqlText, sqlConn)) { //把DataTable當作參數傳入
                    SqlParameter sqlPar = sqlCmd.Parameters.AddWithValue("@dt", dt); //指定表值參數中包含的構造數據的特殊數據類型。
                    sqlPar.SqlDbType = SqlDbType.Structured; sqlPar.TypeName = "dbo.mytb_student";//表值參數名稱
 sqlConn.Open(); sqlCmd.ExecuteNonQuery(); } } }

一樣插入5萬條數據,也是花了2秒的時間。app

總結:SqlServer數據庫批量插入除了使用SqlBulkCopy和表值參數,還能夠使用SqlDataAdapter的Update方法,通過本人測試,在數據量越大的狀況下,使用SqlBulkCopy的性能是最好的。性能

3、在SqlBulkCopy和表值參數進行批量插入時,DataTable列的賦值順序必須和DB中的表類型定義的字段順序一致。測試

 

IF NOT EXISTS(SELECT * FROM sys.table_types WHERE name = 'type_im_check_detail' AND is_user_defined = 1) BEGIN
     CREATE TYPE type_im_check_detail AS TABLE (
     -- 字段定義順序
[sheet_no] [varchar](18) NOT NULL, [item_no] [varchar](40) NOT NULL, check_date DATETIME null, in_price NUMERIC(16,4) null, sale_price NUMERIC(16,4) null, real_qty NUMERIC(16,4) null, recheck_qty NUMERIC(16,4) null, memo NVARCHAR(100) NULL, item_barcode VARCHAR(40) null, row_id NUMERIC(16,4) null, produce_date DATETIME null, valid_date DATETIME null, stock_qty NUMERIC(16,4) null ) END GO IF NOT EXISTS(SELECT * FROM sys.table_types WHERE name = 'type_im_sheet_barcode_qty' AND is_user_defined = 1) BEGIN CREATE TYPE type_im_sheet_barcode_qty AS TABLE (
     -- 字段定義順序 trans_no
VARCHAR(2) NOT NULL, [sheet_no] [varchar](18) NOT NULL, line_no INT NOT NULL, [item_no] [varchar](30) NOT NULL, item_barcode VARCHAR(38) NOT NULL, qty NUMERIC(16,4) NULL, qty2 NUMERIC(16,4) NULL, qty3 NUMERIC(16,4) NULL ) END GO IF EXISTS(SELECT * FROM dbo.sysobjects WHERE id = OBJECT_ID('pr_insert_im_check_detail') AND OBJECTPROPERTY(id, N'IsProcedure') = 1) BEGIN DROP PROCEDURE dbo.pr_insert_im_check_detail END GO CREATE PROCEDURE dbo.pr_insert_im_check_detail ( @detail type_im_check_detail READONLY, @barcodeDetail type_im_sheet_barcode_qty READONLY ) AS BEGIN SET XACT_ABORT ON BEGIN TRANSACTION INSERT t_im_check_detail (sheet_no, item_no, check_date, in_price, sale_price, real_qty, recheck_qty, memo, item_barcode, row_id, produce_date, valid_date,stock_qty) SELECT sheet_no,item_no,check_date,in_price,sale_price,real_qty,recheck_qty,memo,item_barcode,row_id,produce_date,valid_date,stock_qty FROM @detail INSERT t_im_sheet_barcode_qty (trans_no,sheet_no, item_no,line_no,item_barcode, qty) SELECT trans_no,sheet_no, item_no,line_no,item_barcode, qty FROM @barcodeDetail COMMIT TRANSACTION SET XACT_ABORT OFF END GO

 

// DataTable列定義順序
private
DataTable GetNewDetailTable() { DataTable dt = new DataTable(); dt.Columns.Add("sheet_no"); dt.Columns.Add("item_no"); dt.Columns.Add("check_date"); dt.Columns.Add("in_price"); dt.Columns.Add("sale_price"); dt.Columns.Add("real_qty"); dt.Columns.Add("recheck_qty"); dt.Columns.Add("memo"); dt.Columns.Add("item_barcode"); dt.Columns.Add("row_id"); dt.Columns.Add("produce_date"); dt.Columns.Add("valid_date"); dt.Columns.Add("stock_qty"); return dt; } private DataTable GetNewBarcodeDetailTable() { DataTable dt = new DataTable(); dt.Columns.Add("trans_no"); dt.Columns.Add("sheet_no"); dt.Columns.Add("line_no"); dt.Columns.Add("item_no"); dt.Columns.Add("item_barcode"); dt.Columns.Add("qty"); dt.Columns.Add("qty2"); dt.Columns.Add("qty3"); return dt; }
#region init table DataTable dt = GetNewDetailTable(); foreach (var item in details) {
  // datatable賦值順序 DataRow row
= dt.NewRow(); row["sheet_no"] = item.sheet_no; row["item_no"] = item.item_no; row["check_date"] = item.check_date; row["in_price"] = item.in_price; row["sale_price"] = item.sale_price; row["real_qty"] = item.real_qty; row["recheck_qty"] = item.recheck_qty; row["memo"] = item.memo; row["item_barcode"] = item.item_barcode; row["row_id"] = item.row_id; row["produce_date"] = item.produce_date; row["valid_date"] = item.valid_date; row["stock_qty"] = item.stock_qty; dt.Rows.Add(row); } var dtBarcode = GetNewBarcodeDetailTable(); foreach (var item in barcodeDetail) {
  //datatable列賦值順序 DataRow row
= dtBarcode.NewRow(); row["trans_no"] = "CR"; row["sheet_no"] = item.sheet_no; row["line_no"] = 0; row["item_no"] = item.item_no; row["item_barcode"] = item.item_barcode; row["qty"] = item.qty; row["qty2"] = 0.00; row["qty3"] = 0.00; dtBarcode.Rows.Add(row); } #endregion SqlParameter[] paras = new SqlParameter[] { new SqlParameter("@detail", SqlDbType.Structured) { Value = dt, TypeName = "type_im_check_detail" }, new SqlParameter("@barcodeDetail", SqlDbType.Structured) { Value = dtBarcode, TypeName = "type_im_sheet_barcode_qty" } }; Repository.Database.ExecuteSqlCommand("pr_insert_im_check_detail @detail,@barcodeDetail", paras);

 

 

 

**********轉載:https://blog.csdn.net/chwenbin/article/details/79112570spa

相關文章
相關標籤/搜索