spark 大型項目實戰(二十八): --性能調優之在實際項目中重構RDD架構以及RDD持久化

第一，RDD架構重構與優化 儘量去複用RDD，差不多的RDD，可以抽取稱爲一個共同的RDD，供後面的RDD計算時，反覆使用。 第二，公共RDD一定要實現持久化 北方吃餃子，現包現煮。你人來了，要點一盤餃子。餡料+餃子皮+水->包好的餃子，對包好的餃子去煮，煮開了以後，纔有你需要的熟的，熱騰騰的餃子。 現實生活中，餃子現包現煮，當然是最好的了；但是Spark中，RDD要去「現包現煮」，那就是一場致命

>>阅读原文<<