python 針對selenium+phontomjs等模擬瀏覽器爬蟲的反爬技術點

使用selenium+phontomjs爬取航空公司網站爲例子cookie 1訪問元素豐富度網站 普通用戶在打開網頁時會有比較豐富的地址訪問，而自動爬蟲一般只有少數固定的頁面訪問，好比航司活動專版、艙位價格頁面、航線動態等。spa 圖爲豈安科技風控產品監控界面圖片 2訪問軌跡連貫性ip 用戶在進行頁面訪問時，一般是有一個合理的訪問軌跡，如從首頁跳轉到機票搜索，但爬蟲在自動獲取數據時，每每是對頁面地

>>阅读原文<<