爬蟲基礎知識

爬蟲概念： 模擬瀏覽器發送網絡請求，接受請求響應，一種按照一定的規則，自動地抓取互聯網信息的程序 爬蟲分類： a. 通用爬蟲：通常指搜索引擎的爬蟲（例如：https://www.baidu.com） b. 聚焦爬蟲：針對特定網站的爬蟲 robots協議：互聯網中的一般約定（可以忽略） HTTP概念： ## http：超文本(例如：音頻，視頻等)傳輸協議， 默認端口：80 HTTPS概念： HTTP

>>阅读原文<<