python網絡爬蟲（五）:併發抓取

在進行單個爬蟲抓取的時候，咱們不可能按照一次抓取一個url的方式進行網頁抓取，這樣效率低，也浪費了cpu的資源。目前python上面進行併發抓取的實現方式主要有如下幾種：進程，線程，協程。進程不在的討論範圍以內，通常來講，進程是用來開啓多個spider，好比咱們開啓了4進程，同時派發4個spider進行網絡抓取，每一個spider同時抓取4個url。html 因此，咱們今天討論的是，在單個爬蟲的狀

>>阅读原文<<