Python爬蟲防封殺方法集合

在爬取的過程中難免發生ip被封和403錯誤等等，這都是網站檢測出你是爬蟲而進行反爬措施，這裏自己總結下如何避免。 方法1：設置等待時間 有一些網站的防範措施可能會因爲你快速提交表單而把你當做機器人爬蟲，比如說以非常人的速度下載圖片，登錄網站，爬取信息。 常見的設置等待時間有兩種，一種是顯性等待時間(強制停幾秒)，一種是隱性等待時間(看具體情況，比如根據元素加載完成需要時間而等待) 1.顯性等待時間

>>阅读原文<<