Python 爬蟲簡介

Python 爬蟲簡介

　　說到python相信不少人第一反應就是爬蟲，python是做爲爬蟲領域最強大的一門語言，甚至有人誤認爲python就是爬蟲的意思，可想而知python爬蟲的實例，那麼剛入坑的同窗們問了，爬蟲究竟是個什麼呢? 

　　爬蟲就是經過編寫程序，瀏覽模擬器上網，而後讓其去互聯網上爬取數據的過程。

爬蟲分類

• 通用爬蟲：將一整張爬蟲進行爬取，搜索引擎用的比較多。
• 聚焦爬蟲：將一張爬下來，在獲取指定元素。
• 增量式：只爬取最新或者沒有爬過的數據。

反爬機制

• 門戶網站，設計邏輯機制阻止爬蟲程序。

反反爬策略

• 破解防反爬策略。

rebots.txt協議

• 它是一個反爬機制，指定的協議。
• 聽從或者不聽從