python3 分佈式爬蟲

轉載與https://www.jianshu.com/p/ec3dfaec3c9b?utm_source=tuicool&utm_medium=referral 背景 部門（東方IC、圖蟲）業務驅動，需要蒐集大量圖片資源，做數據分析，以及正版圖片維權。前期主要用node做爬蟲(業務比較簡單，對node比較熟悉)。隨着業務需求的變化，大規模爬蟲遇到各種問題。python爬蟲具有先天優勢，社區資源比較

>>阅读原文<<