關於UUID導致數據同步異常(org.apache.sqoop.mapreduce.AsyncSqlOutputFormat: Got exception in update thread: com)

1、異常概述及其分析過程 在大數據同步過程中,爲了數據分析同步並按天更新到關係型數據中(以MYSQL爲例)且保證數據的唯一性,採用UUID所謂的永遠不會重複的字符串作爲數據表的ID。 但在實際操作由於數據處理基數超大(數億的數據量),加上UUID版本選擇不恰當。致使UUID出現小概率事件重複,最終導致數據同步發生異常。異常如下 圖一 圖2 2、解決方案 有圖一所示job_1499327741859
相關文章
相關標籤/搜索