利用java多線程技術往Elasticsearch導入億級數據

前言 近期接到一個任務,需要改造現有從mysql往Elasticsearch導入數據MTE(mysqlToEs)小工具,由於之前採用單線程導入,千億數據需要兩週左右的時間才能導入完成,導入效率非常低。所以樓主花了3天的時間,利用java線程池框架Executors中的FixedThreadPool線程池重寫了MTE導入工具,單臺服務器導入效率提高十幾倍(合理調整線程數據,效率更高)。 關鍵技術棧
相關文章
相關標籤/搜索