爬蟲 之 Scrapy

一、Scrapy簡介 Scrapy 是一種快速的高級web crawling和web scrapying框架，用於對網站進行爬網並從其頁面提取結構化數據。它可以用於廣泛的用途，從數據挖掘到監控和自動化測試。 框架的力量，用戶只需要定製開發幾個模塊就可以輕鬆的實現一個爬蟲，用來抓取網頁內容以及各種圖片，非常之方便。 Scrapy 使用了 Twisted'twɪstɪd異步網絡框架來處理網絡通訊，可以

>>阅读原文<<