原由:算法
前段時間,由於涉及到一張表的大數據操做,要同時進行增刪改,我跟師傅想了不少優化辦法,結果都不盡人意。剛開始用的就是原始算法,先更新現有記錄,再插入知足要求的其餘記錄,最後再刪除多餘記錄,可是少許數據還能夠,10W條數據就不行了,前臺的超時時間是60s,遠遠沒法知足要求。以後又想辦法將任務進行拆分,根據每條記錄流水號尾字符不一樣進行拆分,用多個線程同時執行,一直拆分紅10個任務(尾字符分別爲0、一、二、3 ... 9),用十個線程同時去執行,可是時間仍是很慢,最多處理13W條數據左右,50W條數據就讓人沒法忍受了。最後無奈只好把以前的優化所有剷掉,改成merge into操做,再作了一些優化,將50W條數據的單線程耗時縮短到三十多秒,特此,將merge into的用法總結以下:(http://blog.csdn.net/yuzhic/article/details/1896878)大數據
有一個表T,有兩個字段a、b,咱們想在表T中作Insert/Update,若是條件知足,則更新T中b的值,不然在T中插入一條記錄。在Microsoft的SQL語法中,很簡單的一句判斷就能夠了,SQL Server中的語法以下: 優化
if exists(select 1 from T where T.a='1001' ) update T set T.b=2 Where T.a='1001' else insert into T(a,b) values('1001',2);
Oracle中,要實現相同的功能,要用到Merge into來實現(Oracle 9i引入的功能),其語法以下:
spa
MERGE INTO table_name alias1 USING (table|view|sub_query) alias2 ON (join condition) WHEN MATCHED THEN UPDATE table_name SET col1 = col_val1, col2 = col_val2 WHEN NOT MATCHED THEN INSERT (column_list) VALUES (column_values);
嚴格意義上講,」在一個同時存在Insert和Update語法的Merge語句中,總共Insert/Update的記錄數,就是Using語句中alias2的記錄數」。因此,要實現上面的功能,能夠這樣寫:.net
MERGE INTO T T1 USING (SELECT '1001' AS a,2 AS b FROM dual) T2 ON ( T1.a=T2.a) WHEN MATCHED THEN UPDATE SET T1.b = T2.b WHEN NOT MATCHED THEN INSERT (a,b) VALUES(T2.a,T2.b);