python爬蟲爬取

Python爬蟲 針對python爬蟲這塊,最近寫了有大大小小三個項目,遇到幾個難點,下篇總結出來,這裏先寫下我總結的爬蟲爬取步驟. 靜態文件: 針對靜態文件的爬取,列如圖片之類的,一般網站都保存在CDN上,需要先從網頁上獲取圖片地址就好了,需要注意下保存的格式,有可能會導致圖片無法打開的問題(一般保存爲png格式內容). 數據: 爬蟲解決打就是數據源的問題,是數據處理,數據分析之類的先行問題.所

>>阅读原文<<