Scrapy 原理

Scrapy 原理 一、原理    scrapy 是一個爲了爬取網站數據,提取結構性數據而編寫的應用框架。可以應用在包括數據挖掘,信息處理或存儲歷史數據等一系列程序中。 二、工作流程     Scrapy Engine(引擎): 負責Spider、ItemPipeline、Downloader、Scheduler中間的通訊,信號、數據傳遞等。   Scheduler(調度器): 它負責接受引擎發送
相關文章
相關標籤/搜索