循序漸進學爬蟲:多線程+隊列爬取豆瓣高分計算機類書籍

上一次的抓取豆瓣高分計算機書籍的案例,採用的是完全同步的方式。即單個線程依次執行完所有的邏輯,這樣存在的問題就是我們的爬蟲程序會非常的慢。 所以本文作爲上一次案例的升級版本,通過循序漸進、動手實踐的方式來達到更好的學習效果。 相對於上次的案例,本次主要採用多線程+隊列的方式來實現。 用到的包: import requests from bs4 import BeautifulSoup import
相關文章
相關標籤/搜索