【Python3實戰Spark大數據分析及調度】第7章 Spark Core調優

History Server Spark的UI界面端口默認4040,只能在Application運行的時候維持。 修改參數使得spark保存運行日誌和UI界面,端口改爲18080 位置 改完之後的UI界面 序列化 序列化的作用:Shuffle的時候需要進行網絡傳輸時,需要將數據序列化進行傳輸;節省內存的使用 序列化的類型: - Java serialization:默認,能夠運行實現了 java.
相關文章
相關標籤/搜索