實時計算和數據轉換,爲何Yelp棄用Storm和Heron,自建流處理器PaaStorm?

美中不足 在2010年時,Yelp開源了一個名叫MRJob的框架,是用來在AWS基礎設施上運行大MapReduce Job的。Yelp的工程師們用MRJob實現了很多功能,從廣告推送到翻譯,比比皆是。事實證明,MRJob是一個非常強大的工具,可以在我們當時豐富的數據集合上完成計算和聚集操作。 不幸的是,隨着使用MRJob的服務數量巨增,運行和調度任務開始變得越來越複雜。由於很多任務都是要依賴上游任
相關文章
相關標籤/搜索