scrapy-redis斷點續爬，持久化爬蟲和url去重，爬取京東圖書

scrapy scrapy框架是專門爲python爬蟲所設計的框架，它能夠實現多線程爬蟲，異步請求運行，雖然不用scrapy框架也能夠實現多線程爬蟲，可是功能很是的雞肋，也比較麻煩，而scrapy就能夠很簡單的實現了多線程爬蟲，還有許多強大的功能，不懂的也能夠取scrapy中文網上面瞭解 https://yiyibooks.cn/zomin/Scrapy15/index.htmlhtml scra

>>阅读原文<<