selenium跳過webdriver檢測並爬取天貓商品數據

簡介

如今爬取淘寶，天貓商品數據都是須要首先進行登陸的。上一節咱們已經完成了模擬登陸淘寶的步驟，因此在此不詳細講如何模擬登陸淘寶。把關鍵點放在如何爬取天貓商品數據上。

過去我曾經使用get/post方式進行爬蟲，同時也加入IP代理池進行跳過檢驗，但隨着大型網站的升級，採起該策略比較難實現了。由於你使用get/post方式進行爬取數據，會提示須要登陸，而登陸又是一大難題，須要滑動驗證碼驗證。當你想使用IP代理池進行跳過檢驗時，發現登陸時須要手機短信驗證碼驗證，由此能夠知道舊的全自動爬取數據對於大型網站比較困難了(小型網站可使用get/post，沒檢測或者檢測係數較低)。

selenium是一款優秀的WEB自動化測試工具，因此如今採用selenium進行半自動化爬取數據。

編寫思路

因爲如今大型網站對selenium工具進行檢測，若檢測到selenium，則斷定爲機器人，訪問被拒絕。因此第一步是要防止被檢測出爲機器人，如何防止被檢測到呢？當使用selenium進行自動化操做時，在chrome瀏覽器中的consloe中輸入windows.navigator.webdriver會發現結果爲Ture，而正常使用瀏覽器的時候該值爲False。因此咱們將windows.navigator.webdriver進行屏蔽。 在代碼中添加：

options = webdriver.ChromeOptions()
        # 此步驟很重要，設置爲開發者模式，防止被各大網站識別出來使用了Selenium
        options.add_experimental_option('excludeSwitches', ['enable-automation']) 
        self.browser = webdriver.Chrome(executable_path=chromedriver_path, options=options)
複製代碼

同時，爲了加快爬取速度，咱們將瀏覽器模式設置爲不加載圖片，在代碼中添加：

options = webdriver.ChromeOptions()
        # 不加載圖片,加快訪問速度
        options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2}) 
複製代碼

同時，爲了模擬人工操做，咱們在瀏覽網頁的時候，模擬下滑，插入代碼：

# 模擬向下滑動瀏覽
    def swipe_down(self,second):
        for i in range(int(second/0.1)):
            js = "var q=document.documentElement.scrollTop=" + str(300+200*i)
            self.browser.execute_script(js)
            sleep(0.1)
        js = "var q=document.documentElement.scrollTop=100000"
        self.browser.execute_script(js)
        sleep(0.2)
複製代碼

至此，關鍵的步驟咱們已經懂了，剩下的就是編寫代碼的事情了。在給定的例子中，須要你對html、css有必定了解。 好比存在如下代碼：

self.browser.find_element_by_xpath('//*[@class="btn_tip"]/a/span').click()
        taobao_name = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.site-nav-bd > ul.site-nav-bd-l > li#J_SiteNavLogin > div.site-nav-menu-hd > div.site-nav-user > a.site-nav-login-info-nick ')))
        print(taobao_name.text)
複製代碼

第1行代碼指的是從根目錄(//)開始尋找任意(*)一個class名爲btn_tip的元素，並找到btn_tip的子元素a標籤中的子元素span

第2行代碼指的是等待某個CSS元素出現，不然代碼停留在這裏一直檢測。以.開頭的在CSS中表示類名(class)，以#開頭的在CSS中表示ID名(id)。A > B，指的是A的子元素B。因此這行代碼能夠理解爲尋找A的子元素B的子元素C的子元素D的子元素E出現，不然一直在這裏檢測。

第3行代碼指的是打印某個元素的文本內容

看完上面的代碼，咱們大概瞭解了selenium中html、css的基本規則。咱們來實踐一下，在搜索商品的時候如何檢測一共有多少頁呢？不妨看看如下代碼：

# 等待該頁面所有商品數據加載完畢
        good_total = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#J_ItemList > div.product > div.product-iWrap')))

        # 等待該頁面input輸入框加載完畢
        input = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.ui-page > div.ui-page-wrap > b.ui-page-skip > form > input.ui-page-skipTo')))

        # 獲取當前頁
        now_page = input.get_attribute('value')
        print("當前頁數" + now_page + ",總共頁數" + page_total)
複製代碼

打開chrome中的控制檯，轉向console。點擊console面板中的十字指針，移動到網頁中的「共31頁，到第1頁」，而後點擊。你就能夠看到該元素的class名爲ui-page-skipTo，因爲在css中，class用.表示，因此代碼爲.ui-page-skipTo。

同時因爲他的類型是input輸入框，變成input.ui-page-skipTo。那麼是否能夠把代碼直接寫成.ui-page-skipTo呢？答案是不必定，若是這個元素在網頁中是惟一的，沒有其餘的input的名字也叫ui-page-skipTo的話，就能夠。

因此，爲了保證代碼健壯性，咱們從他的父元素一直查找，直到咱們以爲那個父元素是惟一的，那麼這樣查找到的元素就是惟一的了。因此最終查找到的結果爲.ui-page > div.ui-page-wrap > b.ui-page-skip > form > input.ui-page-skipTo

最後，咱們獲取這個Input的值，代碼爲input.get_attribute('value')

在獲取商品數據中，存在如下代碼：

# 獲取本頁面源代碼
        html = self.browser.page_source

        # pq模塊解析網頁源代碼
        doc = pq(html)

        # 存儲天貓商品數據
        good_items = doc('#J_ItemList .product').items()

        # 遍歷該頁的全部商品
        for item in good_items:
            good_title = item.find('.productTitle').text().replace('\n',"").replace('\r',"")
            good_status = item.find('.productStatus').text().replace(" ","").replace("筆","").replace('\n',"").replace('\r',"")
            good_price = item.find('.productPrice').text().replace("¥", "").replace(" ", "").replace('\n', "").replace('\r', "")
            good_url = item.find('.productImg').attr('href')
            print(good_title + " " + good_status + " " + good_price + " " + good_url + '\n')
複製代碼

首先，咱們獲取本頁面的源代碼html = self.browser.page_source，而後用pq模塊對源代碼進行格式化解析doc = pq(html)，經過上面的講解，咱們已經學會了如何分析css元素了。你會發現有一個DIV元素包含着全部商品元素，他的ID(不是class哦)爲J_ItemList，因此代碼爲#J_ItemList，因爲咱們要獲取的是每個商品，因此代碼爲#J_ItemList .product，這樣就能夠獲取全部class名爲product的元素啦。

接着對每一個商品元素進行分析，後面的就沒必要詳細說了。replace函數是對文本進行一些基本替換。

使用教程

1. 點擊這裏下載下載chrome瀏覽器
2. 查看chrome瀏覽器的版本號，點擊這裏下載對應版本號的chromedriver驅動
3. pip安裝下列包
   • pip install selenium
4. 點擊這裏登陸微博，並經過微博綁定淘寶帳號密碼
5. 在main中填寫chromedriver的絕對路徑
6. 在main中填寫微博帳號密碼

#改爲你的chromedriver的完整路徑地址
    chromedriver_path = "/Users/bird/Desktop/chromedriver.exe" 
    #改爲你的微博帳號
    weibo_username = "改爲你的微博帳號"
    #改爲你的微博密碼
    weibo_password = "改爲你的微博密碼"
    
複製代碼

演示圖片

爬蟲過程圖片查看不了點擊這裏 爬蟲結果圖片查看不了點擊這裏

源代碼

項目源代碼在GitHub倉庫

項目持續更新，歡迎您star本項目