Spark面試題庫

1. Spark消費 Kafka，分佈式的狀況下，如何保證消息的順序 Kafka 分佈式的單位是 Partition。如何保證消息有序，須要分幾個狀況討論。 同一個 Partition 用一個 write ahead log （WAL）組織，因此能夠保證 FIFO 的順序。 不一樣 Partition 之間不能保證順序。可是絕大多數用戶均可以經過 message key 來定義，由於同一個 key

>>阅读原文<<