python 爬蟲相關面試題

文章目錄 1.爬蟲大概流程 2.反反爬措施 3.scrapy 核心組件 scrapy 工做流程 1.爬蟲大概流程 發起請求 經過HTTP庫向目標站點發起請求，也就是發送一個 Request，請求能夠包含額外的header等信息，等待服務器響應 獲取響應內容 若是服務器能正常響應，會獲得一個 Response，Response 的內容即是所要獲取的頁面內容，類型多是 HTML，Json 字符串，二進

>>阅读原文<<