利用線程池實現異步

目標 掌握線程池的使用 使用多線程重構代碼 1 異步任務分析： 1.1. 在引擎中，實現的主要功能如下圖 上面的方框中是關於start_urls中的請求處理 下面的方框中是一個請求從調度器取出請求，進行下載之後交給爬蟲解析再交給管道的過程 在以上兩個過程中，他們之間沒有直接的聯繫，都可以通過異步多線程的方式分別實現，加快程序執行的速度 1.2 那麼具體該如何實現該邏輯 multiprocessin

>>阅读原文<<