爬蟲學習筆記1-瞭解爬蟲以及Http協議

1.瞭解爬蟲 爬蟲的概念：模擬瀏覽器，發送請求，獲取響應 爬蟲的作用：數據採集、軟件測試、網絡安全…… 爬蟲的分類： 通用爬蟲： 搜索引擎的主要組成，作用就是將互聯網的上頁面整體的爬取下來之後，保存到本地 聚焦爬蟲： 聚焦爬蟲在實施網頁抓取時會對內容進行處理篩選，儘量保證只抓取與需求相關的網頁信息。 爬蟲的流程： 1）獲取一個url 2）向url發送請求，並獲取響應（需要http協議） 3）如果從

>>阅读原文<<