基於python的spark mongodb

mongodb是一種文檔型數據庫，作爲一個適用於敏捷開發的數據庫，mongodb的數據模式可以隨着應用程序的發展而靈活地更新。但是mongodb適合一次查詢的需求，對於統計、分析（尤其是在需要跨表、跨庫的情況下）並不是太方便，我們可以用spark來處理mongodb數據。架構圖如下： 我使用的spark版本是spark-1.6.2，mongodb版本是3.2。我主要接觸了以下兩種連接器： 1、mo

>>阅读原文<<