隱藏鏈接反爬蟲

隱藏鏈接反爬蟲定義 隱藏連接反爬蟲指的是在網頁中隱藏用於檢測爬蟲程序得鏈接手段。被隱藏得鏈接不會顯示在頁面中，正常用戶無法訪問，但是爬蟲程序有可能將該鏈接放入待爬隊列，並向該鏈接發起請求。開發者可以利用這個特點區分正常用戶和爬蟲程序。 舉例 剛我們訪問某個網站得列表頁時，爲了拿到詳情頁得內容，我們需要將列表頁得所有url加入到待爬取得隊列中，在網頁的列表div中加入對應的CSS樣式，混入頁面不顯示

>>阅读原文<<