網絡請求 selenium

網絡請求 selenium 部分流程： 第一：爬蟲引擎生成requests請求，送往scheduler調度模塊，進入等待隊列，等待調度。第二：scheduler模塊開始調度這些requests，出隊，發往爬蟲引擎。第三：爬蟲引擎將這些requests送到下載中間件（多個，例如加header，代理，自定義等等）進行處理。第四：處理完之後，送往Downloader模塊進行下載。從這個處理過程來看，突破

>>阅读原文<<