初步實現框架

1.爬蟲的流程(掌握) 爬蟲框架解決的問題是爬蟲問題，先來看看爬蟲的基本流程： 構建請求信息(url、method、headers、params、data) 發起HTTP/HTTPS請求，獲取HTTP/HTTPS響應 解析響應，分析響應數據的數據結構或者頁面結構 提取數據 提取請求的地址 對數據進行存儲/對新的請求地址重複前面的步驟 流程圖: 2.分析scrapy爬蟲流程(掌握) 精準流程圖: 三

>>阅读原文<<