基於Scrapy框架實現網絡爬蟲-Python

1. 網絡爬蟲原理 互聯網上大量的信息以網頁形式提供給用戶，用戶經過瀏覽器從服務器得到網頁數據並通過瀏覽器解析後，進行網頁閱讀、內容複製、連接單擊等操做。用戶與網頁服務器的通訊是經過HTTP或者HTTPS實現的,網絡瀏覽器是用戶向服務器發送請求數據、接收服務器迴應數據、解析並呈現服務器迴應數據的客戶端軟件。 用戶不經過瀏覽器而是經過程序自動獲取網頁內容，有兩種辦法：一是當服務器提供API方法時，能

>>阅读原文<<