python爬蟲學習過程記錄

1.開發輕量級爬蟲 1.1爬蟲簡介 爬蟲：一段自動抓取互聯網信息的程序。 自動訪問互聯網並且提取數據。 價值：互聯網數據爲我所用。 1.2簡單爬蟲架構 運行流程： 1.3URL管理器 URL管理器：管理待抓取URL集合和已抓取URL集合。防止重複抓取和循環抓取。 實現方式： 一般大公司都存在緩存數據庫中。 1.4網頁下載器 網頁下載器：將互聯網上URL對應的網頁下載到本地的工具。 Python有哪

>>阅读原文<<