爬蟲知識整理

爬蟲原理 基本概念 : 請求網站並提取數據的自動化程序 基本流程 發起請求:通過http庫向目標站點發起請求,即發送一個Request,請求中可以包含二外的headers,cookie等信息,等待服務器響應 ​ 獲取響應內容: 如果服務器能正常響應,會得到一個Response,Response的內容便是需要獲取的頁面內容,類型可能爲HTML,json字符串,或者二進制數據(視屏音頻)等類型 ​ 解

>>阅读原文<<