那些年，我爬過的北科(三)——爬蟲進階之多進程的使用

爬取多個頁面 在爬蟲基礎之環境搭建與入門中，介紹瞭如何用Requests下載(爬取)了一個頁面，並用BeautifulSoup這個HTML解析庫來解析頁面裏面咱們想要的內容。html 顯然，爬蟲確定不是隻讓咱們爬取一個網頁的，這樣的工做，人也能夠作。下面咱們來看：nladuo.cn/scce_site/這個頁面。這個頁面一共有10頁，點擊下一頁以後能夠看到在網頁的url中多了個字段「2.html」

>>阅读原文<<