Python每日一記68>>>多進程爬蟲與if __name__ == 'main':的重要性

我們之前的爬蟲都是單進程爬蟲，也就是串行爬蟲，但是在大規模的爬蟲中，我們需要多進程爬蟲以加快運行速度。 下面直接使用例子進行說說明多進程爬蟲，我們爬取糗事百科的文字內容 我們發現多進程時速度確實更快，如果是數據量更大的爬蟲，結果的差距將會更加明顯。在任務管理器中我們也可以發現多進程運行時的情況。 那麼代碼中需要說明的部分是if name’main’: 這句代碼在多進程爬蟲程序，或者是python其

>>阅读原文<<