基於Kafka與Spark的實時大數據質量監控平臺

微軟的ASG (應用與服務集團)包含Bing,、Office,、Skype。每天產生多達5 PB以上數據，如何構建一個高擴展性的data audit服務來保證這樣量級的數據完整性和實時性非常具有挑戰性。本文將介紹微軟ASG大數據團隊如何利用Kafka、Spark以及Elasticsearch來解決這個問題。 案例簡介 本案例介紹了微軟大數據平臺團隊設計和部署的基於開源技術(Kafka、Spark、

>>阅读原文<<