[實戰演練]python3使用requests模塊爬取頁面內容

 

本文摘要：
1.安裝pip
2.安裝requests模塊
3.安裝beautifulsoup4
4.requests模塊淺析
    + 發送請求 + 傳遞URL參數
    + 響應內容
    + 獲取網頁編碼
    + 獲取響應狀態碼
5.案例演示
後記

 

1.安裝pip

個人我的桌面系統用的linuxmint，系統默認沒有安裝pip，考慮到後面安裝requests模塊使用pip，因此我這裏第一步先安裝pip。

$ sudo apt install python-pip

安裝成功，查看PIP版本：

$ pip -V

 

2.安裝requests模塊

這裏我是經過pip方式進行安裝：

$ pip install requests

安裝requests

運行import requests，若是沒提示錯誤，那說明已經安裝成功了！

檢驗是否安裝成功

 

3.安裝beautifulsoup4

Beautiful Soup 是一個能夠從HTML或XML文件中提取數據的Python庫。它可以經過你喜歡的轉換器實現慣用的文檔導航，查找、修改文檔的方式。Beautiful Soup會幫你節省數小時甚至數天的工做時間。

$ sudo apt-get install python3-bs4

注：這裏我使用的是python3的安裝方式，若是你用的是python2,可使用下面命令安裝。

$ sudo pip install beautifulsoup4

 

4.requests模塊淺析

1）發送請求

首先固然是要導入 Requests 模塊：

>>> import requests

而後，獲取目標抓取網頁。這裏我以簡書爲例：

>>> r = requests.get('http://www.jianshu.com/p/b8ef5c005ba4')

這裏返回一個名爲 r 的響應對象。咱們能夠從這個對象中獲取全部咱們想要的信息。這裏的get是http的響應方法，因此觸類旁通你也能夠將其替換爲put、delete、post、head。

 

2）傳遞URL參數

有時咱們想爲 URL 的查詢字符串傳遞某種數據。若是你是手工構建 URL，那麼數據會以鍵/值對的形式置於 URL 中，跟在一個問號的後面。例如， jianshu.com/get?key=val。 Requests 容許你使用 params 關鍵字參數，以一個字符串字典來提供這些參數。

舉例來講，當咱們google搜索「python爬蟲」關鍵詞時，newwindow(新窗口打開)、q及oq(搜索關鍵詞)等參數能夠手工組成URL ，那麼你可使用以下代碼：

>>> payload = {'newwindow': '1', 'q': 'python爬蟲', 'oq': 'python爬蟲'}

>>> r = requests.get("https://www.google.com/search", params=payload)

 

3）響應內容

經過r.text或r.content來獲取頁面響應內容。

>>> import requests

>>> r = requests.get('https://github.com/timeline.json')

>>> r.text

Requests 會自動解碼來自服務器的內容。大多數 unicode 字符集都能被無縫地解碼。這裏補充一點r.text和r.content兩者的區別，簡單說：

resp.text返回的是Unicode型的數據；

resp.content返回的是bytes型也就是二進制的數據；

因此若是你想取文本，能夠經過r.text，若是想取圖片，文件，則能夠經過r.content。

 

4）獲取網頁編碼

>>> r = requests.get('http://www.jianshu.com/')

>>> r.encoding

'utf-8'

 

5）獲取響應狀態碼

咱們能夠檢測響應狀態碼：

>>> r = requests.get('http://www.jianshu.com/')

>>> r.status_code

200

 

5.案例演示

最近公司剛引入了一款OA系統，這裏我以其官方說明文檔頁面爲例，而且只抓取頁面中文章標題和內容等有用信息。

演示環境

操做系統：linuxmint

python版本：python 3.5.2

使用模塊：requests、beautifulsoup4

 

代碼以下：

 

#!/usr/bin/env python
# -*- coding: utf-8 -*-
_author_ = 'GavinHsueh'

import requests
import bs4

#要抓取的目標頁碼地址
url = 'http://www.ranzhi.org/book/ranzhi/about-ranzhi-4.html'

#抓取頁碼內容，返回響應對象
response = requests.get(url)

#查看響應狀態碼
status_code = response.status_code

#使用BeautifulSoup解析代碼,並鎖定頁碼指定標籤內容
content = bs4.BeautifulSoup(response.content.decode("utf-8"), "lxml")
element = content.find_all(id='book')

print(status_code)
print(element)

 

程序運行返回爬去結果：

抓取成功

關於爬去結果亂碼問題

其實起初我是直接用的系統默認自帶的python2操做的，但在抓取返回內容的編碼亂碼問題上折騰了老半天，google了多種解決方案都無效。在被python2「整瘋「以後，只好老老實實用python3了。對於python2的爬取頁面內容亂碼問題，歡迎各位前輩們分享經驗，以幫助我等後生少走彎路。

 

後記

python的爬蟲相關模塊有不少，除了requests模塊，再如urllib和pycurl以及tornado等。相比而言，我我的以爲requests模塊是相對簡單易上手的了。經過文本，你們能夠迅速學會使用python的requests模塊爬取頁碼內容。本人能力有限，若是文章有任何錯誤歡迎不吝賜教，其次若是你們有任何關於python爬去頁面內容的疑難雜問，也歡迎和你們一塊兒交流討論。

咱們共同窗習，共同交流，共同進步！

 

參考：

https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#

http://cn.python-requests.org/zh_CN/latest/