Python爬蟲學習筆記 -2

爬蟲學習筆記 2 實踐 1. 爬取網頁的整體思路 一句話概括就是想辦法遍歷所有打開文章內容的鏈接。 Created with Raphaël 2.2.0 獲取初始URL 爬取頁面獲取新的URL 抽取新的URL放入URL隊列中 讀取新的URL，下載網頁 是否滿足停止條件 結束 yes no 1.2 選取內容網站 我選擇的是偶然看到的一個小網站，內容豐富，結構也不復雜，更沒有各種反爬機制。練手是可以的

>>阅读原文<<