selenium跳過webdriver檢測並模擬登陸淘寶

@(文章目錄)html

簡介

模擬登陸淘寶已經不是一件新鮮的事情了,過去我曾經使用get/post方式進行爬蟲,同時也加入IP代理池進行跳過檢驗,但隨着大型網站的升級,採起該策略比較難實現了。由於你使用get/post方式進行爬取數據,會提示須要登陸,而登陸又是一大難題,須要滑動驗證碼驗證。當你想使用IP代理池進行跳過檢驗時,發現登陸時須要手機短信驗證碼驗證,由此能夠知道舊的全自動爬取數據對於大型網站比較困難了。python

selenium是一款優秀的WEB自動化測試工具,因此如今採用selenium進行半自動化爬取數據,支持模擬登陸淘寶和自動處理滑動驗證碼。git

編寫思路

因爲如今大型網站對selenium工具進行檢測,若檢測到selenium,則斷定爲機器人,訪問被拒絕。因此第一步是要防止被檢測出爲機器人,如何防止被檢測到呢?當使用selenium進行自動化操做時,在chrome瀏覽器中的consloe中輸入windows.navigator.webdriver會發現結果爲Ture,而正常使用瀏覽器的時候該值爲False。因此咱們將windows.navigator.webdriver進行屏蔽。
在代碼中添加:github

options = webdriver.ChromeOptions()
        # 此步驟很重要,設置爲開發者模式,防止被各大網站識別出來使用了Selenium
        options.add_experimental_option('excludeSwitches', ['enable-automation']) 
        self.browser = webdriver.Chrome(executable_path=chromedriver_path, options=options)

同時,爲了加快爬取速度,咱們將瀏覽器模式設置爲不加載圖片,在代碼中添加:web

options = webdriver.ChromeOptions()
        # 不加載圖片,加快訪問速度
        options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})

至此,關鍵的步驟咱們已經懂了,剩下的就是編寫代碼的事情了。在給定的例子中,須要你對html、css有必定了解。
好比存在如下代碼:chrome

self.browser.find_element_by_xpath('//*[@class="btn_tip"]/a/span').click()
        taobao_name = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.site-nav-bd > ul.site-nav-bd-l > li#J_SiteNavLogin > div.site-nav-menu-hd > div.site-nav-user > a.site-nav-login-info-nick ')))
        print(taobao_name.text)

第1行代碼指的是從根目錄(//)開始尋找任意(*)一個class名爲btn_tip的元素,並找到btn_tip的子元素a標籤中的子元素spanwindows

第2行代碼指的是等待某個CSS元素出現,不然代碼停留在這裏一直檢測。以.開頭的在CSS中表示類名(class),以#開頭的在CSS中表示ID名(id)。A > B,指的是A的子元素B。因此這行代碼能夠理解爲尋找A的子元素B的子元素C的子元素D的子元素E出現,不然一直在這裏檢測。api

第3行代碼指的是打印某個元素的文本內容瀏覽器

使用教程

  1. 點擊這裏下載下載chrome瀏覽器
  2. 查看chrome瀏覽器的版本號,點擊這裏下載對應版本號的chromedriver驅動
  3. pip安裝下列包
    • [x] pip install selenium
  4. 點擊這裏登陸微博,並經過微博綁定淘寶帳號密碼
  5. 在main中填寫chromedriver的絕對路徑
  6. 在main中填寫微博帳號密碼
#改爲你的chromedriver的完整路徑地址
    chromedriver_path = "/Users/bird/Desktop/chromedriver.exe" 
    #改爲你的微博帳號
    weibo_username = "改爲你的微博帳號"
    #改爲你的微博密碼
    weibo_password = "改爲你的微博密碼"

演示圖片


圖片查看不了點擊這裏

源代碼

項目源代碼在GitHub倉庫

項目持續更新,歡迎您star本項目

相關文章
相關標籤/搜索