web自動化爬蟲selenium centos 無GUI環境配置

基本環境：centos7,python3.x

1.安裝selenium

pip3 install selenium

2.安裝chrome-browser

wget https://dl.google.com/linux/d... --no-check-certificate

yum install ./google-chrome-stable_current_x86_64.rpm

3.下載chromedriver（注意要和chrome-browser版本對應）

1254109F0E439D718CC399416C7238D3.png

因爲下載的chrome-browser是70版本的，因此chromedriver 選擇了2.43版本

wget http://chromedriver.storage.g...

解壓此文件，並將文件移動到/usr/bin目錄下

unzip chromedriver_linx64.zip

mv chromedriver /usr/bin/

4.測試selenium是否可用，請執行如下python腳本，如返回html內容，則說明安裝成功

from selenium import webdriver
url='http://bing.com'
option = webdriver.ChromeOptions()
option.add_argument('--no-sandbox')
option.add_argument('--headless')
driver = webdriver.Chrome(chrome_options=option)
driver.get(url)
print(driver.page_source)
注意須要加上，禁止在沙箱中運行

option.add_argument('--no-sandbox')
option.add_argument('--headless')

補充：

安裝firefox支持

yum install firefox

yum install Xvfb

yum install libXfont

pip3 install pyvirtualdisplay

測試腳本

!/usr/bin/python3

from selenium import webdriver
from pyvirtualdisplay import Display
display = Display(visible=0, size=(800,600))
display.start()
driver = webdriver.Firefox()
driver.get('https://www.baidu.com')print(driver.title)driver.quit()display.stop()