BULK INSERT 海量添加數據語法html
參數說明sql
database_name數據庫
指定的表或視圖所在的數據庫的名稱,若是未指定,則默認爲當前數據庫。服務器
schema_name架構
表或視圖架構的名稱。async
table_nameide
要將數據大容量導入其中的表或視圖的名稱。函數
‘data_file’post
數據文件的完整路徑,該數據文件包含到導入到指定表或視圖中的數據。使用BULK INSERT能夠從磁盤導入數據。學習
BATCHSIZE=batch_size
指定批量處理中的行數。每一個批處理做爲一個事物複製到服務器。
CHECK_CONSTRAINTS
指定在大容量導入操做期間,必須檢查全部對目標表或視圖的約束。
FIELDTERMINATOR ='field_terminator'
指定要用於 char 和 widechar 數據文件的字段終止符,即字段的分隔符。 默認的字段終止符是 \t(製表符)。
ROWTERMINATOR ='row_terminator'
指定要用於 char 和 widechar 數據文件的行終止符,即行的分隔符。
更多參數說明,請參考: https://msdn.microsoft.com/zh-cn/library/ms188365.aspx
簡單示例
爲了對比BULK INSERT和普通逐條插入的差別,咱們經過一個簡單的示例,經過實際運行來查看效果。
第一步:在數據庫新建兩張同樣的表,分表爲Student和Student1,表結構徹底相同,只有ID,NAME,AGE三個簡單的字段。
第二步:新建一個控制檯程序,經過一個簡單的循環,生成500000條數據寫入到txt文件中,關鍵代碼以下:
/// <summary> /// 生成測試數據 /// </summary> private static void GenerateTestData() { string fileName = "sql"; int i = 1; while (i <= 500000) { string strInsert = string.Format("{0},'test{0}',{0}|", i); File.AppendText(strInsert, fileName); i++; } }
第三步:封裝出兩個方法,分別用來執行批量插入和普通插入,具體代碼以下:
/// <summary> /// 批量插入測試 /// </summary> private static void BulkInsertTest() { string strFilePath = @"D:\學習\ASP.NET\QYH.BlukInsertTest\sql.txt"; string strTableName = "Student"; /* 每個字段的信息以「,」分割 *每一條數據以「|」符號分隔 * 每10萬條數據一個事務*/ string sql = string.Format("BULK INSERT {0} FROM '{1}' WITH (FIELDTERMINATOR = ',',ROWTERMINATOR ='|',BATCHSIZE = 50000)", strTableName, strFilePath); DBHelper dbHelper = new DBHelper(); dbHelper.Excute(sql); } /// <summary> /// 普通插入測試 /// </summary> private static void CommonInsertTest() { int i = 1; while (i <= 500000) { string sqlInsert = string.Format("insert into Student1(id,Name,Age) values({0},'test{0}',{0})", i); new DBHelper().Excute(sqlInsert); i++; } }
第四步:Main主函數中調用批量插入和普通插入方法,並經過Stopwatch計算出執行時間,Pragram完整代碼以下:
using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; using QYH.BlukInsertTest.FileMange; using QYH.BlukInsertTest.DataBase; using System.Diagnostics; namespace QYH.BlukInsertTest { class Program { static void Main(string[] args) { //用於生成海量數據 //GenerateTestData(); Stopwatch stopwatch = Stopwatch.StartNew(); try { BulkInsertTest(); } catch (Exception) { //throw; } stopwatch.Stop(); string strResult = "批量插入耗時:" + stopwatch.ElapsedMilliseconds.ToString(); Stopwatch stopwatch1 = Stopwatch.StartNew(); CommonInsertTest(); stopwatch1.Stop(); string str1Result = "普通插入耗時:" + stopwatch1.ElapsedMilliseconds.ToString(); string strTestResult = "result"; File.WriteTextAsync(strResult + "\r\n" + str1Result, strTestResult); //Console.Read(); } /// <summary> /// 批量插入測試 /// </summary> private static void BulkInsertTest() { string strFilePath = @"D:\學習\ASP.NET\QYH.BlukInsertTest\sql.txt"; string strTableName = "Student"; /* 每個字段的信息以「,」分割 *每一條數據以「|」符號分隔 * 每10萬條數據一個事務*/ string sql = string.Format("BULK INSERT {0} FROM '{1}' WITH (FIELDTERMINATOR = ',',ROWTERMINATOR ='|',BATCHSIZE = 50000)", strTableName, strFilePath); DBHelper dbHelper = new DBHelper(); dbHelper.Excute(sql); } /// <summary> /// 普通插入測試 /// </summary> private static void CommonInsertTest() { int i = 1; while (i <= 500000) { string sqlInsert = string.Format("insert into Student1(id,Name,Age) values({0},'test{0}',{0})", i); new DBHelper().Excute(sqlInsert); i++; } } /// <summary> /// 生成測試數據 /// </summary> private static void GenerateTestData() { string fileName = "sql"; int i = 1; while (i <= 500000) { string strInsert = string.Format("{0},'test{0}',{0}|", i); File.AppendText(strInsert, fileName); i++; } } } }
示例中還用到兩個輔助類,DBHelper.cs和File.cs,因爲僅用於演示,因此寫的很是簡單,其中文件路徑是寫死的,能夠替換成實際路徑。
DBHelper.cs
using System; using System.Collections.Generic; using System.Data.SqlClient; using System.Linq; using System.Text; using System.Threading.Tasks; namespace QYH.BlukInsertTest.DataBase { public class DBHelper { public string connectionString = "Server=.;Database=QYHDB;User ID=sa;Password=123456;Trusted_Connection=False;"; public void Excute(string sql) { SqlConnection conn = new SqlConnection(connectionString); SqlCommand command = new SqlCommand(); command.CommandTimeout = 0; command.Connection = conn; command.CommandText = sql; conn.Open(); command.ExecuteNonQuery(); conn.Close(); } } }
File.cs
using System; using System.Collections.Generic; using System.IO; using System.Linq; using System.Text; using System.Threading.Tasks; namespace QYH.BlukInsertTest.FileMange { public class File { public static string strFilePath = @"D:\學習\ASP.NET\QYH.BlukInsertTest"; public static async void WriteTextAsync(string text, string fileName) { using (StreamWriter outputFile = new StreamWriter(strFilePath + @"\" + fileName + ".txt")) { await outputFile.WriteAsync(text); } } public static void AppendText(string text, string fileName) { // Append text to an existing file named "WriteLines.txt". using (StreamWriter outputFile = new StreamWriter(strFilePath + @"\" + fileName + ".txt",true)) { outputFile.WriteLine(text); } } } }
一切準備就緒,開始運行,結果以下:
其中單位爲毫秒,從結果咱們能夠看出BULK INSER插入500000條數據還不須要3秒,而普通逐條插入卻須要20多分鐘
再加一點,我最近試了試,會出現字符轉換的問題,能夠把字段都該成爲字符串的,這個主要是爲了測試用,加入一條一條的插入1000萬條最少也要20分鐘左右吧,使用這個的話就比較迅速了,轉換完成後通常保存的是這個類型看圖,須要改成選中的那個!!若是有幫助可點個贊。