使用Spark Streaming進行豆瓣用戶畫像分析

    研一上學期，雲計算課程，老師希望我們能掌握基於 Spark、HDFS 和 MongoDB 的本地高效分佈式數據處理和存儲環境的搭建和技術使用。我們小組選的課題是豆瓣小組和用戶數據。其中，我作爲組長，負責編寫 Spark Streaming 部分和聚類部分的代碼。     時間很緊湊，一週內就要自學之前完全不熟悉的大數據處理領域，並且完成案例實現，這對於我來說是個不小的挑戰。於是那一週我早起

>>阅读原文<<