爬蟲之scrapy工做流程

Scrapy是什麼？ scrapy 是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架，咱們只須要實現少許代碼，就可以快速的抓取到數據內容。Scrapy 使用了 Twisted['twɪstɪd](其主要對手是Tornado)異步網絡框架來處理網絡通信，能夠加快咱們的下載速度，不用本身去實現異步框架，而且包含了各類中間件接口，能夠靈活的完成各類需求。數據庫 異步與非阻塞的區別：異步：調用在發出

>>阅读原文<<