Python每日一記68>>>多進程爬蟲與if __name__ == 'main':的重要性

咱們以前的爬蟲都是單進程爬蟲，也就是串行爬蟲，可是在大規模的爬蟲中，咱們須要多進程爬蟲以加快運行速度。 下面直接使用例子進行說說明多進程爬蟲，咱們爬取糗事百科的文字內容 咱們發現多進程時速度確實更快，若是是數據量更大的爬蟲，結果的差距將會更加明顯。在任務管理器中咱們也能夠發現多進程運行時的狀況。 那麼代碼中須要說明的部分是if name’main’: 這句代碼在多進程爬蟲程序，或者是python其

>>阅读原文<<