爬蟲基本原理梳理

什麼是爬蟲？ 請求網站並提取數據的自動化程序web 爬蟲的基本流程 1：向服務器發起請求正則表達式 經過HTTP庫向目標站點發起請求，即發送一個Request，請求能夠包含額外的headers等信息，等待服務器的響應。數據庫 2：獲取響應內容 若是服務器正常響應，會獲得一個Response，Response的內容即是所要獲取的頁面內容，類型可能有HTML、JSON、二進制文件（如圖片、視頻等類型）

>>阅读原文<<