爬蟲原理一點通

1、什麼是爬蟲？ 網絡爬蟲，顧名思義"網絡上爬來爬去的蜘蛛" 請求網站並提取數據的自動化程序。 2、爬蟲的基本流程 ①發起請求 通過HTTP庫向目標站點發起請求，即發送一個Request，請求可以包含額外的headers等信息，等待服務器響應。 ②獲取響應內容 如果服務器能正常響應，會得到一個Response，Response的內容是所要獲取的頁面內容，類型可能有HTML、Json字符串、二進制數

>>阅读原文<<