scrapy的工作流程

回顧前面的爬蟲流程 常規（藍色窗口） 最開始的時候必須要有url地址，然後發送請求獲取響應，提取數據，保存數據 偶爾（紅色窗口） 我們需要從響應中提取url地址，然後重新對它發送請求獲取響應 requests模塊：重新對這個url地址發送請求獲取響應 selenium模塊：點擊一下某個按鈕 另一種形式的爬蟲流程 1.我們現在不再把url地址放在列表中，而是放在隊列中 2.發送請求獲取響應 3.對響

>>阅读原文<<