scrapy框架簡單瞭解

scrapy:是一個遍歷爬行網站 ，分析獲取數據而設計的應用程序框架，原本設計用於屏幕抓取（網絡抓取）也可以用來訪問api來提取數據；廣泛應用與數據挖掘、信息處理、歷史片打包等等。 「5+2」結構 Engine:不需要用戶修改 控制所有模塊之間的數據流 根據條件觸發事件 Downloader:不需要用戶修改 根據請求下載網頁 Scheduler：不需要用戶修改 對所有爬取請求調度管理 Downlo

>>阅读原文<<