離線計算與實時批處理

1、爲什麼spark不適合做實時批處理?       答:比如spark on yarn的時候,申請資源的過程非常慢,即使是數據量小、計算簡單的application,其申請資源的時間遠大於計算的時間,但是可以嘗試通過寫一個boot服務,把sc該廠一個長(常)服務,控制在10-15秒以內是非常完美的 待續。。。
相關文章
相關標籤/搜索