目前Spark Application處理的數據量和性能

今年最值得開心的事情，就是Spark Application在客戶局點跑的效果。雖然裏面涉及的算法由於涉密所以不能透露，但是性能槓槓的還是值得高興一下的。 每秒鐘的數據量大概爲40萬~80萬條。 實時Spark Application的性能（開5分鐘的時間窗口）： 5分鐘內可以處理完，沒有延遲和堆積。 離線Spark Application的性能（一天跑一次，一次處理前一天的數據）： 大概4.5個

>>阅读原文<<