StreamSets SDC RPC Pipelines說明

主要目的是進行跨pipeline 數據的通訊，而不單單是內部pipeline 的通訊，之間不一樣網絡進行通訊

一個參考圖

pipeline 類型

• origin
• destination

部署架構

• 使用多個destination 保證可靠性，參考下圖
  
• 若是數據是類似的，能夠實現負載均衡以及冗餘，參考下圖
  

數據傳輸的保證

• 至少一次（保證數據能夠被處理）
• 之多一次 （避免數據重複）

定義rpc id

id 是用戶定義的方便彼此之間能夠進行識別的

加密

支持基於tls 的數據加密

配置指南

要建立一組有效的SDC RPC管道，必須遵照某些配置選項。使用如下準則配置SDC RPC管道：

• origin
  在origin管道中，配置如下元素：
  在管道屬性中，將數據傳遞模型設置爲您要使用的選項。
  在管道中，使用SDC RPC目標。
  配置SDC RPC目標時，請輸入RPC ID和RPC鏈接信息。
  若要使用多個目標管道，請輸入要使用的每一個SDC RPC源的RPC鏈接信息。
  要使用加密在管道之間傳輸數據，請啓用TLS並配置相關屬性。

• destination
  對於每一個destination管道，請配置如下元素：
  在管道屬性中，將數據傳遞模型設置爲與原始管道相同的選項。使用其餘選項會致使Data Collector 默認爲At Most Once行爲。
  在管道中，使用SDC RPC origin。
  配置SDC RPC orign時，請按以下方式定義屬性：
  使用SDC RPC destination 中使用的相同RPC ID。
  對於RPC偵聽端口，請輸入相應的端口號。
  它應該是SDC RPC destination中的一個RPC鏈接中指定的端口號。
  要使用加密在管道之間傳輸數據，請啓用TLS並配置相關屬性。

參考資料

https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/RPC_Pipelines/SDC_RPCpipelines_title.html#concept_wr1_ktz_bt