streamsets 集成 cratedb 測試

咱們能夠集成crate 到streamsets 中能夠實現強大的數據導入，數據分析能力。
演示的是進行csv 文件的解析並輸出到cratedb

環境使用docker && docker-compose

環境啓動

• docker-compose yaml 文件

version: "3"
services:
   sets:
     image: streamsets/datacollector 
     volumes:
     - "./ms/data:/data"
     - "./ms/logs:/logs"
     - "./ms/tmp:/tmp"
     ports:
     - "8000:8000"
     - "18630:18630"
   crate:
     image: crate
     ports:
     - "4200:4200"
     - "4300:4300"
     - "5432:5432"

• 啓動

docker-compose up -d

• 效果
  
  

安裝cratedb jdbc driver

• 下載 jdbc driver

  我已經放到github 項目的data 目錄

參考地址：
https://bintray.com/crate/crate/crate-jdbc/view/files/io/crate/crate-jdbc-standalone

• 下載csv 文件

  我已經放到github 項目 的data 目錄

https://www.streamsets.com/documentation/datacollector/sample_data/tutorial/nyc_taxi_data.csv

• 加載jdbc driver

  使用ui 的external library 加載

• 建立cratedb table

CREATE TABLE taxi (
 hack_license STRING,
 medallion STRING,
 total_amount FLOAT,
 tip_amount FLOAT
);

配置pipeline

• pipeline flow
  
• 配置csv 加載（directory origin）
  
  
• 添加字段轉換配置
  
• 配置cratedb jdbc productor

問題比較多，主要是用戶帳戶以及健康檢查，鏈接池相關的，通過測試我使用了用戶認證，使用默認的crate，參考下面的圖便可
crate 官方的文檔參考會有問題

密碼隨意，用戶爲crate

預覽測試

運行&&寫入數據

總結

在jdbc 配置中問題比較多，記得經過校驗，逐步排除便可。

參考資料

https://crate.io/docs/crate/guide/en/latest/tools/streamsets.html
https://github.com/rongfengliang/streamsets-demos/tree/master/cratedb