爬蟲的基本原理介紹

爬蟲的基本原理介紹 一、什麼是爬蟲 爬蟲：請求網站並提取數據的自動化程序 百科：網絡爬蟲（又被稱爲網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱爲網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。   二、爬蟲基本流程 發起請求：通過HTTP庫向目標站點發起請求，即發送一個Request，請求可以包含額外的he

>>阅读原文<<