python爬蟲日誌(13)selenium實現淘寶自動翻頁以及在新的標籤頁中打開網頁

對於淘寶這個網站，翻頁能夠有不少種方法，咱們能夠點擊下一頁，能夠點擊數字，也能夠直接輸入頁數而後回車，這裏我本身是採用點擊下一頁的方法，這樣就不用獲取總頁數，由於當到達最後一頁時，包含下一頁的標籤的class會有一個'next-disabled'屬性很方便的是否到達最後一頁。

知道原理代碼就很簡單了。

next_button = browser.find_element_by_css_selector('li.item.next')                      # 翻頁按鈕
if 'next-disabled' not in next_button.get_attribute('class'):
    next_button.click()

下面是在新標籤頁中打開網頁的方法：

# 首先咱們執行一段js命令在新的標籤頁打開網頁
new_window = 'window.open("{}")'.format(url)
browser.execute_script(new_window)

handles = browser.window_handles   # 獲取瀏覽器全部標籤的句柄，這裏返回是一個列表


# 再用switch_to.window()來切換標籤
browser.switch_to.window(handles[-1])  # ok這樣就切換到新的標籤頁中了
# 值得注意的是，find_element方法只能在browser當前所在的標籤內尋找，若是查找其餘標籤內的元素，將會出現Nosuchelement的錯誤

browser.close()#關閉當前標籤
browser.switch_to.window(handles[0])  # 切回原來的標籤

browser.quit()#是退出瀏覽器，其功能要與close()區分