Python爬蟲環境經常使用庫安裝

1：urllib urllib.request
這兩個庫是python自帶的庫，不須要從新安裝，在python中輸入以下代碼：

import urllib
import urllib.request
response=urllib.request.urlopen("http://www.baidu.com")
print(response)
1
2
3
4
返回結果爲HTTPResponse的對象：
<http.client.HTTPResponse object at 0x000001929C7525F8>

2：正則表達式模塊
import re
1
該庫爲python自帶的庫，直接運行不報錯，證實該庫正確安裝。

3：request庫的安裝
安裝命令：pip install requests
驗證該庫是否安裝成功，運行以下代碼：

import requests
response=requests.get("http://www.baidu.com")
print(response)
1
2
3
4：selenium庫的安裝

因爲若是須要使用selenium的話，須要爲本機配置對應瀏覽器的驅動，下面以chomedriver爲例，首先安裝chromedriver，chromedriver與支持對應的chrome版本以下：

chromedriver版本 支持的Chrome版本
v2.33 v60-62
v2.32 v59-61
v2.31 v58-60
v2.30 v58-60
v2.29 v56-58
v2.28 v55-57
v2.27 v54-56
v2.26 v53-55
v2.25 v53-55
v2.24 v52-54
v2.23 v51-53
v2.22 v49-52
v2.21 v46-50
v2.20 v43-48
v2.19 v43-47
v2.18 v43-46
v2.17 v42-43
v2.13 v42-45
v2.15 v40-43
v2.14 v39-42
v2.13 v38-41
v2.12 v36-40
v2.11 v36-40
v2.10 v33-36
v2.9 v31-34
v2.8 v30-33
v2.7 v30-33
v2.6 v29-32
v2.5 v29-32
v2.4 v29-32
如何查看本機的chrome的版本，具體方法以下：

chromedriver的下載地址以下：
http://chromedriver.storage.googleapis.com/index.html
chromedriver解壓後放到Python或者其餘配置了環境變量的目錄下。
測試代碼及運行結果以下：

安裝plantomjs
下載地址爲：http://phantomjs.org/download.html
下載完成後，解壓文件夾，將文件夾中phantomjs.exe的拷貝到Python或者其餘配置了環境變量的目錄下，或單獨爲其配置環境變量，測試代碼及運行結果以下：

5： 安裝LXML

6：安裝beautifulsoup

7:安裝pyquery

8：安裝pymysql

9：安裝pymongo

10:安裝redis

11:安裝flask

12:安裝django