常用高效的Python爬蟲框架

Python是現在非常流行的編程語言，而爬蟲則是Python語言中最典型的應用，下面是ipidea全球http總結的高效Python爬蟲框架，大家看看是否都用過呢。 Scrapy是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架，可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。 Crawley可以高速爬取對應網站的內容，支持關係和非關係數據庫，數據可以導出爲JSON、XML等。

>>阅读原文<<