python3 分佈式爬蟲

轉載與https://www.jianshu.com/p/ec3dfaec3c9b?utm_source=tuicool&utm_medium=referral 背景 部門（東方IC、圖蟲）業務驅動，須要蒐集大量圖片資源，作數據分析，以及正版圖片維權。前期主要用node作爬蟲(業務比較簡單，對node比較熟悉)。隨着業務需求的變化，大規模爬蟲遇到各類問題。python爬蟲具備先天優點，社區資源比較

>>阅读原文<<