scrapy框架流程

scrapy框架是基於python的爬蟲框架,大致流程如下: scrapy 是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架，我們只需要實現少量代碼， 就能夠快速的抓取到數據內容。 Scrapy 使用了 Twisted’twɪstɪd異步網絡框 架來處理網絡通訊，可以加快我們的下載速度，不用自己去實現異步框架，並且包含了各種中間件接口， 可以靈活的完成各種需求。 scrapy 框架的工作流程

>>阅读原文<<