沃保網爬蟲(九)--requests爬蟲升級爲scrapy爬蟲

1、requests爬蟲升級爲scrapy爬蟲: 2、start_requests:構造requests對象,包含請求url、請求方式、請求參數 3、判斷頁碼,構造下一頁請求參數,主要是構造頁面,請求下一頁數據 4、請求詳情頁資格證號,並返回 5、返回資格證號,並yield返回 6、數據的處理,pipline,item_key是redis中的集合名詞 7、加密字段在redis集合中的保存形式 顯示
相關文章
相關標籤/搜索