基於網易雲音樂的分佈式爬蟲實現

Prepare Python 版本 Python 3.6.5 依賴包 scrapy_redis redis mysql-python kafka-python hdfs 數據API接口 詳見Github Implement 數據依賴關係 時序 　　上圖詳細說明了整個爬蟲工程的前一半的數據抽取邏輯；關於用戶類數據的抽取在實現邏輯上與上圖基本一致。在用戶相關數據的爬取上，實現了在儘可能多的爬取用戶數據

>>阅读原文<<