Python網絡爬蟲與聚焦爬蟲，如何用爬蟲爬取段子

一、網絡爬蟲 Python爬蟲開發工程師,從網站某一個頁面(通常是首頁)開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然後通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完爲止。如果把整個互聯網當成一個網站，那麼網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。 網絡爬蟲(又被稱爲網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱爲網頁追逐者)，是一種按

>>阅读原文<<