Python爬蟲經常使用庫的安裝及其環境配置

時間 2020-05-08

原文原文鏈接

Python經常使用庫的安裝

urllib、re 這兩個庫是Python的內置庫，直接使用方法import導入便可。
requests 這個庫是請求的庫。咱們須要使用執行文件pip3來進行安裝。文件處於C:\Python36\Scripts下，咱們能夠先將此路徑設爲環境變量。在命令行中輸入pip3 install requests進行安裝。安裝完成後進行驗證。
```
>>> import requests
>>> requests.get('http://www.baidu.com')
<Response [200]>
```
selenium 其實是用來瀏覽器的一個庫，作爬蟲時可能會碰到使用JS渲染的網頁，使用requests來請求時，可能沒法正常獲取內容，咱們使用selenium能夠驅動瀏覽器得到渲染後的頁面。也是使用pip3 install selenium安裝。進行驗證。
```
>>> import selenium
>>> from selenium import webdriver
>>> driver = webdriver.Chrome()

DevTools listening on ws://127.0.0.1:60980/devtools/browser/7c2cf211-1a8e-41ea-8e4a-c97356c98910
>>> driver.get('http://www.baidu.com')
```
上述命令能夠直接打開chrome瀏覽器，而且打開百度。可是，在這以前咱們必須安裝一個chromedriver，而且安裝googlchrome瀏覽器，可自行去官網下載。當咱們安裝完畢後再運行這些測試代碼可能依舊會出現一閃而退的狀況，那麼問題出在，chrome和chromdriver的版本不兼容，能夠在官網下載chrome更高的版本，或者chromedriver更低的版本，可是隻要都是最高版本就沒問題。html

phantomjs 是一個無界面瀏覽器，在後臺運行。可在官網自行下載。而且須要將phantomjs.exe 的所在目錄設爲環境變量。測試代碼。

>>> from selenium import webdriver
>>> driver = webdriver.PhantomJS()
>>> driver.get('http://www.baidu.com')
>>> driver.page_source
'<!DOCTYPE html><!--STATUS OK--><html><head>\n

lxml 使用pip3 install lxml安裝。
beautifulsoup 是一個網絡解析庫，依賴於lxml庫。使用pip3安裝。必須安裝pip3 install beautifulsoup4，由於beautifulsoup已經中止維護了。安裝驗證。
```
>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup('<html></html>','lxml')
>>>
```

pyquery 也是網頁解析庫，較bs4更加方便，語法和Jquery無異。也是使用pip3 安裝。

>>> from pyquery import PyQuery as pq   #將其重命名
>>> doc = pq('<html></html>')
>>> doc = pq('<html>hello world</html>')
>>> result = doc('html').text()
>>> result
'hello world'

pymysql 是一個操做mysql數據庫的庫。使用pip3 安裝。

>>> import pymysql
>>> conn = pymysql.connect(host='localhost',user='root',password = '123456',port=3306,db='mysql')
>>> cursor = conn.cursor()
>>> cursor.execute('select * from db')
0

pymongo 操做數據庫MongoDB的庫。須要開啓MongoDB服務，在計算機管理當中的服務尋找。也是使用pip3安裝。

>>> import pymongo
>>> client = pymongo.MongoClient('localhost')
>>> db = client['newtestdb']
>>> db['table'].insert({'name':'tom'})
ObjectId('5b868ee4c4d17a0b2466f748')
>>> db['table'].find_one({'name':'tom'})
{'_id': ObjectId('5b868ee4c4d17a0b2466f748'), 'name': 'tom'}
>>> #完成了單條數據的查詢

redis 一個非關係型數據庫，運行效率高。使用pip3 install redis安裝。

>>> import redis
>>> r = redis.Redis ('localhost',6379)
>>> r.set('name','tom')
True
>>> r.get('name')
b'tom'
>>> #是一個byte型數據類型

flask 作代理時可能會用到。使用pip3 安裝。詳細內容能夠在flask官網查看flask文檔。
django 是一個web服務器框架，提供了一個完整的後臺管理，引擎、接口等，可使用它作一個完整的網站。可在django的官網查看文檔。使用pip3 install django安裝。
jupyter 能夠理解爲一個記事本，運行哎網頁端，能夠進行寫代碼，調試，運行。在官網能夠下載jupyter，也能夠用pip3 安裝，相關庫很是多，安裝比較久。安裝後能夠在命令行直接運行jupyter notebook，由於此文件在scrips目錄下。
```
C:\Users\dell>jupyter notebook
[I 20:32:37.552 NotebookApp] The port 8888 is already in use, trying another port.
[I 20:32:37.703 NotebookApp] Serving notebooks from local directory: C:\Users\dell
```
能夠在選項 new 中創建新python3文件，而且能夠編寫代碼。python

默認的文件名爲unite，此處將其改成testDemo，使用快捷鍵ctrl+回車運行，按鍵B跳轉至新的編輯行。mysql