如何編寫分佈式的數據傳輸

一、原理 根據前面介紹的datax原理，數據傳輸主要包括兩部分：1）切分task；2）task調度執行 二、如何切分task 根據不同的數據源可以有不同的切分方式（目標端進行適配），幾種常見的切分方式 1）mysql：如果是分庫分表，可以按照單表切分成一個task；如果是單表，可以根據主鍵的區間值切分（參考datax的splitKey） 2）hbase：根據region的rowkey進行切

>>阅读原文<<