關於Kettle使用es批量導出插件支持ES5以及ES6的說明

因爲kettle6/7等自帶的elasticsearch-bulk-insert-plugin插件,最多支持es2.x,對於使用es5.x和ex6.x的狀況,本人使用源碼從新編譯打包了相應的插件,請按以下步驟配置使用。es6

一、刪除(自行備份)舊版本的elasticsearch-bulk-insert-plugin插件,在kettle目錄data-integration/plugins下json

二、根據本身環境,下載es5-plugin或者es6-plugin,以及相應的Jackson包app

es5-plugin連接:https://pan.baidu.com/s/1f31Vr22AqLiBq00OmRChnQ 提取碼: mq2selasticsearch

es6-plugin連接:  https://pan.baidu.com/s/1l9bUzPs5wIUpCvSsx1poZw 提取碼: ctb9es5

Jackson連接:https://pan.baidu.com/s/1cMpw9kNcvvMYnNc1-FL1BA 密碼:uz7wspa

若是文件連接過時,請加qq羣:195548102  諮詢。插件

三、將es-plugin加壓後複製到data-integration/plugins下,文件夾名字隨便,再將jackson-2.8.10-libs裏面的jar包替換掉data-integration/lib下舊版本相應的jar包:3d

注:若是是kettle8,不須要替換這些jarcode

2.8.10的幾個jar包以下:blog

舊版本多是這樣的:

注意,jar包名字看不太同樣,只要把jackson-開頭的刪掉(自行備份)替換便可。另外高版本的jackson也許不兼容kettle的json輸入輸出插件,須要本身驗證,若是有問題,再來諮詢。

若是替換後遇到這樣的錯誤:

NoClassDefFoundError: org/codehaus/jackson/map/ObjectMapperorg/codehaus/jackson/Versiond

能夠將以前的jar放回去:jackson-mapper-asl-1.9.2.jar、jackson-core-asl-1.9.2.jar

四、重啓kettle,elasticsearch-bulk-insert-plugin應該就能夠支持es5或者es6了。

注意:

一、es配置中,端口要使用TCP端口,默認是9300

二、若是修改了es集羣名稱,也在插件中配置cluster.name和相應值,默認是 elasticsearch 不須要配置,集羣名字能夠經過9200端口訪問查看

若是在使用中遇到問題,請加QQ羣:195548102  諮詢。

相關文章
相關標籤/搜索