DataX中的數據交互源碼探究

因爲工作的原因,需要排查數據源端到目標端的數據是否丟失,正好有機會研究一下datax的源碼. 這裏我們探索的oracleReader和kuduWriter的數據交互,其他的組件原理類似 第一步:查看oracleReader端 圖中標紅的地方就是我們開始探索的入口 第二步:查看數據的查詢和寫入隊列中 這裏面重點關注sendToWriter,經過日誌的打印,我們知道該實現類是BufferedRecor

>>阅读原文<<