spark相關優化

標題 spark開發調優 1.高性能序列化類庫 在Spark中，默認是使用Java自帶的序列化機制——基於ObjectInputStream和ObjectOutputStream的序列化機制，這是爲了提高便捷性和適用性，畢竟是Java原生的嘛。然鵝，自帶的東西往往考慮的東西比較多，沒法做到樣樣俱全，比如內序列化後佔據的內存還是較大，但是Spark是基於內存的大數據框架，對內存的要求很高。所以，在S

>>阅读原文<<