[PaperReading]*PSGraph: How Tencent trains extremely large-scale graphs with Spark?

摘要 騰訊TEG在大數據機器學習以及數據挖掘方面，基於Spark，結合參數服務器PS開發了新平臺Angel，在圖計算方面對比Spark GraphX形成了新的訓練模式，結合PS對參數的更新迭代，分佈式環境下的數據通信做了新的設計。GraphX在分佈式數據通信時，使用join操作導致多個worker之間的數據shuffle，使得模型更新變慢，而且臨時數據導致空間利用率下降。而PSGraph使用PS可

>>阅读原文<<