[scrapy + 數據庫] 手工打造分佈式爬蟲，展現某社交平臺個人社交網絡

前言    如今微信、微博等社交平臺每天都在產生大量的社交數據，如何找出個人在社交網絡中處於那個節點，每個人的社交網絡拓撲圖是什麼樣子？今天就讓我們用「scrapy + 數據庫」的形式，打造一款分佈式爬蟲，快速獲取某社交平臺的社交網絡信息，並通過可視化工具展示該社交網絡。 可行性分析   分佈式的理念在於將需要耗費大量計算能力的工作分配給多臺機器協同運作，從而降低運算時間。對於分佈式爬蟲而言，要實

>>阅读原文<<