爬蟲技巧分享

爬蟲基本的流程 • 發送請求：通過HTTP庫向目標站點發起請求，即發送一個Request，請求可以包含額外的headers等信息，等待服務器響應。 • 獲取響應內容：如果服務器能正常響應，會得到一個Response， Response的內容便是所要獲取的頁面內容，類型可能有HTML，Json字符串，二進制數據（如圖片視頻）等類型。 • 解析內容：得到的內容可能是HTML，可以用正則表達式、網頁解析

>>阅读原文<<