百度百科全站爬取教程

百度百科全站 目前有16,330,473個詞條 這裏介紹一個基於scrapy的分佈式百度百科爬蟲，能夠全量爬取百度百科的詞條 github地址 特性 百科類網站全站詞條抓取，包括百度百科、互動百科、wiki中英文站點； 支持斷點續爬； 支持緩存百科詞條頁面； 可分佈式部署； 經過單機測試，在i9-9900K 內存64G 100M網絡帶寬下，百度百科詞條一天可以抓取大概50w條(默認系統配置下)；互

>>阅读原文<<