爬蟲經常使用庫的安裝

 

請求庫

解析庫

存儲庫

工具庫

 

 請求庫

urlib re  python內置庫

Requests   pip3 install requests  #pip2,pip-conda都是能夠選擇的

selenium  pip3 install selenium

 

chromedriver 

下載頁面：https://sites.google.com/a/chromium.org/chromedriver/

下載解壓後，將解壓文件放入python\scripts目錄下

測試

 python下輸入：

from selenium import webdriver
driver = webdriver.Chrome()

 

順利打開了網頁

driver.get('https://www.python.org')  就能打開python官網

 

phantomjs  靜默瀏覽器  無界面瀏覽器

下載頁：http://phantomjs.org/download.html

下載後解壓，找個地方存放，進入bin目錄，將該目錄路徑放入系統環境變量下。

進入交互控制檯

python下輸入

from selenium import webdriver
driver = webdriver.PhantomJS()

driver.get('https://www.python.org')
driver.page_source

 

 

網頁解析庫

lxml      pip3 install lxml

BeautifulSoup   pip3 install beautifulsoup4

pyquery     pip3 install pyquery

　　語法同Jquery，pyquery文檔 https://pythonhosted.org/pyquery/

 

 

 存儲庫

pymysql   pip3 install pymysql 

pymongo  pip3 install pymongo

redis  pip3 install redis

 

工具庫

flask  web服務，代理設置  pip3 install flask

　　flask文檔http://docs.jinkan.org/docs/flask/

django  pip3 install django

jupyter  pip3 install jupyter