利用 java 多線程技術往 Elasticsearch 導入億級數據

前言   近期接到一個任務,需要改造現有從mysql往Elasticsearch導入數據MTE(mysqlToEs)小工具,由於之前採用單線程導入,千億數據需要兩週左右的時間才能導入完成,導入效率非常低。所以樓主花了3天的時間,利用java線程池框架Executors中的FixedThreadPool線程池重寫了MTE導入工具,單臺服務器導入效率提高十幾倍(合理調整線程數據,效率更高)。 關鍵技術
相關文章
相關標籤/搜索