多爬蟲實現之一 -- 多請求實現

目標 實現在框架中能夠發送多個start_url的請求 實現對_start_engine方法功能的拆分重構 掌握yield和生成器的使用方法 1 需求分析 在發送關於start_url中的請求的時候，往往我們的請求並不是只有一個，而且在解析了響應之後，可能需要繼續構造請求並且發送，那麼對應的需要在引擎中進行修改。 多請求實現分析： 2 項目中實現爬蟲文件 在main.py同級目錄下建立spider

>>阅读原文<<