selenium 頁面加載慢，超時的解決方案

開發環境：

win10-64  python2.7.16  chrome77

 

from selenium import webdriver

driver = webdriver.Chrome(executable_path='chromedriver.exe')

driver.get('http://所有加載完成超級慢的網站')


user = 'abc'
pwd = '123

driver.find_element_by_id('email').send_keys(user)
driver.find_element_by_id('pass').send_keys(pwd)

先看這樣一段代碼

當執行了get之後，除非網站所有加載完成，不然你只能乖乖等，什麼都不能幹，這是整個程序是阻塞的，get不完就別想進行下面操做

這個等待多是5分鐘或者更久

其實5秒鐘的時候界面就已經打開了，而後他還在加載些什麼js，img，等待速度超慢的，可是網頁人工是能夠操做

那麼有沒有什麼辦法呢，網上找了一通，給出了不少解決方案

 

首先是這貨（下面是我複製的）：

from selenium import webdriver
driver=webdriver.Chrome()
driver.set_page_load_timeout(5)
driver.set_script_timeout(5)#這兩種設置都進行纔有效

try:
    d.get(s)
except:
    d.execute_script('window.stop()')#這句話好像沒什麼軟用

能夠在頁面中止加載後繼續操做了

driver.set_page_load_timeout(5)這玩意一設置，沒問題，5秒後網頁確實中止了，可是driver也死了，無論運行什麼都是timeout，還說try一下，driver是死透了，只能從新來
不知道是selenium更新了仍是他本身沒測試仍是chrome更新了，如今這麼設置就是找死的

注意：使用set_page_load_timeout時候，當頁面未加載出任何東西的時候（每每是html源碼未加載），由於超時而中止，會致使driver失效，
後面的driver都不能操做，因此超時設置應該至少保證頁面內容加載出來一部分，設置超時不宜太短，以下圖在頁面此種狀態下中止加載後driver失效。

不錯，是有人也說了，不能設置過短，會失效，可是我能夠說，你設置5分鐘照樣失效，只要超時一次，driver就完蛋，直接翻車

接下來是另外一個方法

# coding = utf-8
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
import time

driver = webdriver.Chrome()
class button():
    def __call__(self, driver):
        if driver.find_element_by_id('js_love_url'):
            return True
        else:
            return False 

driver.implicitly_wait(60)
time_start = time.time()
driver.get('https://www.163.com/')

# driver.find_element_by_id('js_love_url').click()
WebDriverWait(driver,2,0.5).until(button()) 
time_end = time.time()
print('access time is : ', time_end - time_start)
time.sleep(2)
driver.quit()

用WebDriverWait進行操做，不過我測試下來，driver.get()不執行完，下面的代碼根本就不會執行，因此仍是不行

 

找了各類方法，各類操做，都失敗了，總算今天找到了正確的方法

原理很是簡單：driver.get()這個操做，改爲不阻塞的就好了，這樣打開網頁就操做完成了，不須要等他加載

下面我能夠直接等待須要的元素出現便可進行操做

 

配置也是很簡單

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities


#get直接返回，再也不等待界面加載完成
desired_capabilities = DesiredCapabilities.CHROME
desired_capabilities["pageLoadStrategy"] = "none"

driver = webdriver.Chrome(executable_path='chromedriver.exe')

配置一個參數，就是頁面加載策略，系統默認是等待，就是等他加載完，直接設置成none，就是不等待，這樣就是get操做完後直接就是結束了

不影響下面的操做，這樣就能夠愉快的玩耍了