爬網易雲音樂評論數的優化歷程

爲什麼要爬、怎麼爬就不說了。 首先 我是第一次寫爬蟲。 使用的是Python，且沒有使用爬蟲框架。 僅僅靠requests和beautifulsoup來完成。 作者：軌跡。 方法一：最早使用的方法 爬取過程： 1、模擬請求 2、獲取數據 3、入庫 重複1-3來完成對一首音樂的評論數的爬取。 過程如圖： 該方法的不足之出在於： 每一次的網絡IO都要等待本地IO，每一次的本地IO都要等待網絡IO 實際

>>阅读原文<<