[2019好程序員大數據教程]SparkGraphx從入門到精通(33集視頻+源碼+筆記)

一、什麼是Spark GraphX程序員

Spark GraphX是一個分佈式的圖處理框架。社交網絡中,用戶與用戶之間會存在錯綜複雜的聯繫,如微信、QQ、微博的用戶之間的好友、關注等關係,構成了一張巨大的圖,單機沒法處理,只能使用分佈式圖處理框架處理,Spark GraphX就是一種分佈式圖處理框架。算法

 

二、Spark GraphX優勢:緩存

相對於其餘分佈式圖計算框架,Graphx最大的貢獻,也是大多數開發喜歡它的緣由是,在Spark之上提供了一站式解決方案,能夠方便且高效地完成圖計算的一整套流水做業;即在實際開發中,可使用核心模塊來完成海量數據的清洗與與分析階段,SQL模塊來打通與數據倉庫的通道,Streaming打造實時流處理通道,基於GraphX圖計算算法來對網頁中複雜的業務關係進行計算,最後使用MLLib以及SparkR來完成數據挖掘算法處理。微信

 

  1. SparkGraphX的總體架構

(1)存儲層和原語層:Graph類是圖計算的核心類,內部含有VertexRDD、EdgeRDD和RDD。GraphImpl是Graph類的子類,實現了圖操做。網絡

(2)接口層:在底層RDD的基礎之上實現Pragel模型,BSP模式的計算接口。架構

(3)算法層:基於Pregel接口實現了經常使用的圖算法。包含:PageRank、SVDPlusPlus、TriangleCount、ConnectedComponents、StronglyConnectedConponents等算法。框架

 

  1. [2019好程序員大數據教程]如何快速入門SparkGraphx(33集視頻+源碼+筆記)

如何學習SparkGraphx?好程序員爲你們準備了33集視頻+源碼+筆記,但願能對你學習有所幫助。分佈式

(1)課程介紹學習

在本課程中,主要講述了Graphx的特性、存儲原理, 圖構建的方法、過程,構建點集合, PageRank算法,代碼操做,深度優先算法等。測試

2)本課程適用人羣

具備必定大數據基礎的人羣

(3)課程目錄:

01. Graphx的優點

02. 彈性分佈式屬性圖(圖計算的優點)

03. Graphx圖存儲原理

04. Partition分區策略

05. Graphx中的vertices、edges、triples

06. 圖構建

07. 圖構建之方法

08. 圖構建之過程

09. 構建點集合

10. 構建點和邊的集合例子

11. 構建邊集合

12. 構建圖

13. 轉換操做(mapVertices)

14. 轉換操做(mapEdges、mapTriplets)

15. 結構操做

16. 關聯操做

17. 聚合操做(map階段)

18. 緩存操做

19. 代碼操做

20. 代碼操做(2)

21. 代碼操做(3)

22. 代碼操做(4)

23. 代碼操做(5) 

24. 代碼操做(6)

25. 深度優先算法(上)

26. 深度優先算法(中)

27. 深度優先算法(下)

28. 聯通份量

29. 廣度優先算法

30. PageRank算法(動態和靜態)

31. PageRank(源碼解析)

32. PageRank(案例實現)

33. PageRank(測試總結)

尾註:

精心整理,實屬不易,手動點贊,以示鼓勵

關注做者vx公衆號「好程序員」,回覆「DT2」便可領取33集SparkGraphx從入門到精通」視頻+源碼+筆記!想學習大數據的小夥伴抓緊時間領取!

相關文章
相關標籤/搜索