小白學 Python 爬蟲（29）：Selenium 獲取某大型電商網站商品信息

人生苦短，我用 Python

前文傳送門：

小白學 Python 爬蟲（1）：開篇

小白學 Python 爬蟲（2）：前置準備（一）基本類庫的安裝

小白學 Python 爬蟲（3）：前置準備（二）Linux基礎入門

小白學 Python 爬蟲（4）：前置準備（三）Docker基礎入門

小白學 Python 爬蟲（5）：前置準備（四）數據庫基礎

小白學 Python 爬蟲（6）：前置準備（五）爬蟲框架的安裝

小白學 Python 爬蟲（7）：HTTP 基礎

小白學 Python 爬蟲（8）：網頁基礎

小白學 Python 爬蟲（9）：爬蟲基礎

小白學 Python 爬蟲（10）：Session 和 Cookies

小白學 Python 爬蟲（11）：urllib 基礎使用（一）

小白學 Python 爬蟲（12）：urllib 基礎使用（二）

小白學 Python 爬蟲（13）：urllib 基礎使用（三）

小白學 Python 爬蟲（14）：urllib 基礎使用（四）

小白學 Python 爬蟲（15）：urllib 基礎使用（五）

小白學 Python 爬蟲（16）：urllib 實戰之爬取妹子圖

小白學 Python 爬蟲（17）：Requests 基礎使用

小白學 Python 爬蟲（18）：Requests 進階操做

小白學 Python 爬蟲（19）：Xpath 基操

小白學 Python 爬蟲（20）：Xpath 進階

小白學 Python 爬蟲（21）：解析庫 Beautiful Soup（上）

小白學 Python 爬蟲（22）：解析庫 Beautiful Soup（下）

小白學 Python 爬蟲（23）：解析庫 pyquery 入門

小白學 Python 爬蟲（24）：2019 豆瓣電影排行

小白學 Python 爬蟲（25）：爬取股票信息

小白學 Python 爬蟲（26）：爲啥買不起上海二手房你都買不起

小白學 Python 爬蟲（27）：自動化測試框架 Selenium 從入門到放棄（上）

小白學 Python 爬蟲（28）：自動化測試框架 Selenium 從入門到放棄（下）

目標

先介紹下咱們本篇文章的目標，如圖：

本篇文章計劃獲取商品的一些基本信息，如名稱、商店、價格、是否自營、圖片路徑等等。

準備

首先要確認本身本地已經安裝好了 Selenium 包括 Chrome ，並已經配置好了 ChromeDriver 。若是還沒安裝好，能夠參考前面的前置準備。

分析

接下來咱們就要分析一下了。

首先，咱們的搜索關鍵字是 iPhone ，直接先翻到最後一頁看下結果，發現有好多商品並非 iPhone ，而是 iPhone 的手機殼，這個明顯不是咱們想要的結果，小編這裏選擇了一下品牌 Apple ，再翻到最後一頁，此次就全都是手機了。

先把地址欄的地址 Copy 出來看一下，裏面有不少無效參數：

https://search.jd.com/search?keyword=iPhone&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&ev=exbrand_Apple%5E&page=199&s=5933&click=0複製代碼

若是問小編怎麼知道是無效參數仍是有效參數，emmmmmmmmm

這個要麼靠經驗，通常大網站的參數的命名都是比較規範的，固然也不排除命名不規範的。還有一種辦法就是試，小編這邊試出來的結果是這樣滴：

https://search.jd.com/Search?keyword=iPhone&ev=exbrand_Apple複製代碼

第一個參數 keyword 就是咱們須要的商品名稱，第二個參數 ev 是品牌的參數。

接下來咱們看如何獲取商品的詳細信息，咱們使用 F12 打開開發者模式，使用看下具體的信息都放在哪裏：

能夠看到，咱們想要獲取的信息在這個頁面的 DOM 節點中都能獲取到。

接下來由於咱們是使用 Selenium 來模擬瀏覽器訪問電商網站，因此後續的接口分析也就不須要作了，直接獲取瀏覽器顯示的內容的源代碼就能夠輕鬆獲取到各類信息。

獲取商品列表頁面

首先，咱們須要構造一個獲取商品列表頁面的 URL ，這個上面已經獲得了，接下來就是使用 Selenium 來獲取這個頁面了：

from selenium import webdriver
from selenium.common.exceptions import TimeoutException

driver = webdriver.Chrome()
driver.implicitly_wait(10)

driver.set_window_size(1280,800)

def index_page(page):
    """
    抓取索引頁
    :param page: 頁碼
    """
    print('正在爬取第', str(page), '頁數據')
    try:
        url = 'https://search.jd.com/Search?keyword=iPhone&ev=exbrand_Apple'
        driver.get(url)
        if page > 1:
            input = driver.find_element_by_xpath('//*[@id="J_bottomPage"]/span[2]/input')
            button = driver.find_element_by_xpath('//*[@id="J_bottomPage"]/span[2]/a')
            input.clear()
            input.send_keys(page)
            button.click()
        get_products()
    except TimeoutException:
        index_page(page)複製代碼

這裏咱們依然使用隱式等待來進行 URL 訪問，這裏小編經過 xpath 的方式獲取到了整個頁面最下面的翻頁組件：

小編這裏的翻頁其實是使用這裏的輸入框和後面的確認按鈕進行的。

獲取商品詳細數據

這裏其實有一個坑，JD 的首頁上的圖片是懶加載的，就是當頁面的滾動條沒有滾到這個圖片能夠顯示在屏幕上的位置的時候，這個圖片是不會加載出來的。這就形成了小編一開始的只能獲取到前 4 個商品的圖片地址。

小編後來想了個辦法，使用 JavaScript 來模擬滾動條滾動，先將全部的圖片加載出來，而後再進行數據的獲取，代碼以下：

def get_products():
    """
    提取商品數據
    """
    js = '''
    timer = setInterval(function(){
       var scrollTop=document.documentElement.scrollTop||document.body.scrollTop;
       var ispeed=Math.floor(document.body.scrollHeight / 100);
       if(scrollTop > document.body.scrollHeight * 90 / 100){
           clearInterval(timer);
       }
       console.log('scrollTop:'+scrollTop)
       console.log('scrollHeight:'+document.body.scrollHeight)
       window.scrollTo(0, scrollTop+ispeed)
    }, 20)
    '''
    driver.execute_script(js)
    time.sleep(2.5)
    html = driver.page_source
    doc = PyQuery(html)
    items = doc('#J_goodsList .gl-item .gl-i-wrap').items()
    i = 0
    for item in items:
        insert_data = {
            'image': item.find('.p-img a img').attr('src'),
            'price': item.find('.p-price i').text(),
            'name': item.find('.p-name em').text(),
            'commit': item.find('.p-commit a').text(),
            'shop': item.find('.p-shop a').text(),
            'icons': item.find('.p-icons .goods-icons').text()
        }
        i += 1
        print('當前第', str(i), '條數據，內容爲：' , insert_data)複製代碼

中間那段 js 就是模擬滾動條向下滾動的代碼，這裏小編作了一個定時任務，這個定時任務將整個頁面的長度分紅了 100 份，每 20 ms 就向下滾動 1% ，共計應該總共 2s 能夠滾到最下面，這裏下面作了 2.5s 的睡眠，保證這個頁面的圖片都能加載出來，最後再獲取頁面上的數據。

主體代碼到這裏就結束了，剩下的代碼無非就是將數據保存起來，不論是保存在數據中仍是保存在 Excel 中，或者是 CSV 中，又或者是純粹的文本文件 txt 或者是 json ，都不難，小編此次就不寫了，但願你們能本身完善下這個代碼。

運行的時候，能夠看到一個瀏覽器彈出來，而後滾動條自動以比較順滑的速度滾到最下方（小編爲了這個順滑的速度調了好久），確保全部圖片都加載出來，再使用 pyquery 獲取相關的數據，最後組成了一個 json 對象，給你們看下抓取下來的結果吧：

Chrome 無界面模式

咱們在爬取數據的時候，彈出來一個瀏覽器總感受有點老不爽了，可使用以下命令將這個瀏覽器隱藏起來，不過須要的是 Chrome 比較新的版本。

# 開啓無窗口模式
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')

driver = webdriver.Chrome(chrome_options=chrome_options)複製代碼

首先，建立 ChromeOptions 對象，接着添加 headless 參數，而後在初始化 Chrome 對象的時候經過 chrome_options 傳遞這個 ChromeOptions 對象，這樣咱們就能夠成功啓用 Chrome 的Headless模式了。

FireFox

若是咱們不想使用 Chrome 瀏覽器，還可使用 FireFox 瀏覽器，前提是須要安裝好 FireFox 和對應的驅動 GeckoDriver ，而且完成相關配置，不清楚如何安裝的同窗能夠翻一翻前面的前置準備。

咱們須要切換 FireFox 瀏覽器的時候，異常的簡單，只須要修改一句話就能夠了：

driver = webdriver.Firefox()複製代碼

這裏咱們修改了 webdriver 初始化的方式，這樣在接下來的操做中就會自動使用 FireFox 瀏覽器了。

若是 Firefox 也想開啓無界面模式的話，一樣也是能夠的，和上面 Chrome 開啓無界面模式大同小異：

# FireFox 開啓無窗口模式
firefox_options = webdriver.FirefoxOptions()
firefox_options.add_argument('--headless')

driver = webdriver.Firefox(firefox_options=firefox_options)複製代碼

同樣是在 Webdriver 初始化的時候增長 headless 參數就能夠了。

好了，本篇的內容就到這裏了，但願各位同窗能夠本身動手練習下哦~~~

注意： 本文相關內容僅作學習使用，使用時請遵照國家相關法律規定。

示例代碼

本系列的全部代碼小編都會放在代碼管理倉庫 Github 和 Gitee 上，方便你們取用。

示例代碼-Github

示例代碼-Gitee

若是個人文章對您有幫助，請掃碼關注下做者的公衆號：獲取最新干貨推送：）