streamsets microservice pipeline 試用

實際上仍是一個pipeline，只是添加了一些規則以及內嵌的http server 方便咱們對於基於http 或者相似輕量
協議數據的處理

基本環境

使用docker&& docker-compose 進行環境搭建，具體參考項目：https://github.com/rongfengliang/streamsets-demos/tree/master/micro-service

• 運行micro-service pipeline 環境

docker-compose up  -d
docker-compose.yaml 內容：
version: "3"
services:
   sets:
     image: streamsets/datacollector 
     volumes:
     - "./ms/data:/data"
     - "./ms/logs:/logs"
     ports:
     - "8000:8000"
     - "18630:18630"

建立基本micro-service pipeline

• 建立demo pipeline（參考下圖）

  選擇以後會有一個demo micro-service pipeline

• 運行說明

  建立完成以後已經包好了說明，參考下面的內容

• 說明

處理的事情很簡單http server 請求輸入，對於數據進行路由（get，post 區分），進行不通http verb 的處理並返回結果

運行效果

效果

get 請求

post 請求

err 請求

請求統計

單個pipeline 處理的統計

建立一個快照：

比較全的數據處理組件：

總結

pipeline 結合 http server router 處理數據仍是比較方便的，相似的有好多，當前的雲原生框架ballerian 就包含一個相似的stream 服務，也是很不錯的

參考資料

https://streamsets.com/
https://github.com/rongfengliang/streamsets-demos