Python爬蟲進階一之爬蟲框架概述

爬蟲入門以後，有兩條路能夠走。python 一個是繼續深刻學習，以及關於設計模式的一些知識，強化Python相關知識，本身動手造輪子，繼續爲本身的爬蟲增長分佈式，多線程等功能擴展。另外一條路即是學習一些優秀的框架，先把這些框架用熟，能夠確保可以應付一些基本的爬蟲任務，也就是所謂的解決溫飽問題，而後再深刻學習它的源碼等知識，進一步強化。git 框架概述 比較好用的是 Scrapy 和PySpider

>>阅读原文<<