streamsets 錯誤記錄處理

咱們能夠在stage 級別，或者piepline 級別進行error 處理配置

pipeline的錯誤記錄處理

• discard（丟踢）
• send response to Origin pipeline傳遞錯誤記錄回microservice origin ，同時包含了錯誤的record 個數以及metrics ，只能在microservice pipeline 中使用
• write to anothoer pipeline 將錯誤寫到其餘的sdc rpc pipeline中，同上， 數據包含了錯誤記錄書以及metrics ，你必須建立sdc rpc 目的pipeline 去處理
  錯誤記錄，同時pipeline 必須包含一個從當前pipeline讀取錯記錄的sdc rpc origin 配置
• write to Azure Event hub 基於雲的設置（通常咱們用不到）
• write to Elasticsearch 寫到es 中
• write to file 寫到文件中
• write to google cloud storage 寫到google 雲存儲中
• write to google pub/sub
• write to kafka 寫到kafka 中
• write to kinesis
• write to mapR streams
• write to mqtt

stage （階段）錯誤記錄處理

• discard 丟踢
• send to error 將錯誤發送到pipeline
• stop pipeline 中止pipeline

參考資料

https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Pipeline_Design/ErrorHandling.html#concept_pm4_txm_vq