Python爬蟲入門教程 9-100 河北陽光理政投訴板塊

時間 2019-12-09

原文原文鏈接

1.河北陽光理政投訴板塊-寫在前面

以前幾篇文章都是在寫圖片相關的爬蟲，今天寫個留言板爬出，爲另外一套數據分析案例的教程作作準備，做爲一個河北人，遵紀守法，有事投訴是必備的技能，那麼咱看看咱們大河北人都由於什麼投訴過呢？html

今天要爬取的網站地址 http://yglz.tousu.hebnews.cn/l-1001-5-，一遍爬取一遍嘀咕，別由於爬這個網站在去喝茶，再次聲明，學習目的，切勿把人家網站爬癱瘓了。mongodb

2.河北陽光理政投訴板塊-開始擼代碼

今天再次嘗試使用一個新的模塊 lxml ，它能夠配合xpath快速解析HTML文檔，官網網站 https://lxml.de/index.html
利用pip安裝lxml，若是安裝失敗，能夠在搜索引擎多搜搜，內容不少，100%有解決方案。數組

pip install lxml

廢話很少說，直接經過requests模塊獲取百度首頁，而後用lxml進行解析post

import requests
from lxml import etree  # 從lxml中導入etree

response = requests.get("http://www.baidu.com")
html = response.content.decode("utf-8")
tree=etree.HTML(html)  # 解析html

print(tree)

當你打印的內容爲下圖所示，你就接近成功了！學習

下面就是配合xpath 語法獲取網頁元素了，關於xpath 這個你也能夠自行去學習，很是簡單，搜索一下全都是資料，咱就不講了。網站

經過xpath咱們進行下一步的操做，代碼註釋能夠多看一下。搜索引擎

tree=etree.HTML(html)  # 解析html
hrefs = tree.xpath('//a')  #經過xpath獲取全部的a元素
# 注意網頁中有不少的a標籤，因此獲取到的是一個數組，那麼咱們須要用循環進行操做
for href in hrefs:
    print(href)

打印結果以下spa

<Element a at 0x1cf64252408>
<Element a at 0x1cf642523c8>
<Element a at 0x1cf64252288>
<Element a at 0x1cf64252308>
<Element a at 0x1cf64285708>
<Element a at 0x1cf642aa108>
<Element a at 0x1cf642aa0c8>
<Element a at 0x1cf642aa148>
<Element a at 0x1cf642aa048>
<Element a at 0x1cf64285848>
<Element a at 0x1cf642aa188>

在使用xpath配合lxml中，記住只要輸出上述內容，就表明獲取到東西了，固然這個不必定是你須要的，不過代碼至少是沒有錯誤的。code

繼續編寫代碼視頻

# 注意網頁中有不少的a標籤，因此獲取到的是一個數組，那麼咱們須要用循環進行操做
for href in hrefs:
    print(href)
    print(href.get("href")) # 獲取html元素屬性
    print(href.text)  # 獲取a標籤內部文字

輸出結果

<Element a at 0x1c7b76c2408>
http://news.baidu.com
新聞
<Element a at 0x1c7b76c23c8>
http://www.hao123.com
hao123
<Element a at 0x1c7b76c2288>
http://map.baidu.com
地圖
<Element a at 0x1c7b76c2308>
http://v.baidu.com
視頻
<Element a at 0x1c7b76f5708>
http://tieba.baidu.com
貼吧

如今你已經看到，咱們已經獲取到了百度首頁的全部a標籤，而且獲取到了a標籤的href屬性和a標籤的文字。有這些內容，你就能很容易的去獲取咱們的目標網站了。

3.河北陽光理政投訴板塊-爬取投訴數據

找到咱們的目標網頁，結果發現，出事情了，頁面居然是用aspx動態生成的，技術你就不須要研究了，總之，碰到了一個比較小的問題。

首先，點擊下一頁的時候，頁面是局部刷新的

刷新的同時，捕獲了一下發送的請求，是post方式，這個須要留意一下，最要緊的是下面第2張圖片和第3張圖片。

這張圖片中的viewstate

這張圖片也有一些奇怪的參數

這些參數都是典型的動態網頁參數。

解決這個問題，還要從源頭抓起！

打開咱們要爬取的首頁http://yglz.tousu.hebnews.cn/l-1001-5- 第1點須要肯定，post的地址通過分析就是這個頁面。

因此這段代碼是必備的了，注意下面的post

response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-")
html = response.content.decode("utf-8")

右鍵查看源碼以後，發現源碼中有一些比較重要的隱藏域 裏面獲取就是咱們要的必備信息

沒錯，這些內容，咱們想辦法獲取到就能夠了
基本步驟

獲取源碼
lxml經過xpath解析隱藏域，取值

import requests
from lxml import etree  # 從lxml中導入etree
try:
    response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-")
    html = response.content.decode("utf-8")
except Exception as e:
    print(e)

tree=etree.HTML(html)  # 解析html
hids = tree.xpath('//input[@type="hidden"]')  # 獲取隱藏域

# 聲明一個字典，用來存儲後面的數據
common_param = {}
# 循環取值
for ipt in hids:
    common_param.update({ipt.get("name"):ipt.get("value")})  # 這個地方能夠分開寫，應該會很清楚，我就不寫了，總之，就是把上面獲取到的隱藏域的name屬性和value屬性都獲取到了

上面的代碼寫完以後，其實已經完成了，很是核心的內容了，後面就是繼續爬取了
咱們按照post要的參數補充完整其餘的參數便可

import requests
from lxml import etree  # 從lxml中導入etree

try:
    response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-")
    html = response.content.decode("utf-8")
except Exception as e:
    print(e)

tree=etree.HTML(html)  # 解析html

hids = tree.xpath('//input[@type="hidden"]')
common_param = {}
for ipt in hids:
    common_param.update({ipt.get("name"):ipt.get("value")})

##############################################################
for i in range(1,691):
    common_param.update({"__CALLBACKPARAM":f"Load|*|{i}",  # 注意這個地方，因爲我直接看到了總共有690頁數據，因此直接寫死了循環次數
                       "__CALLBACKID": "__Page",
                       "__EVENTTARGET":"",
                       "__EVENTARGUMENT":""})

到這一步，就能夠抓取真實的數據了，我在下面的代碼中最關鍵的一些地方加上註釋，但願你能看懂

for i in range(1,691):
    common_param.update({"__CALLBACKPARAM":f"Load|*|{i}",
                       "__CALLBACKID": "__Page",
                       "__EVENTTARGET":"",
                       "__EVENTARGUMENT":""})


    response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-",data=common_param,headers=headers)
    html = response.content.decode("utf-8")
    print("*"*200)

    tree = etree.HTML(html)  # 解析html
    divs = tree.xpath('//div[@class="listcon"]')  # 解析列表區域div
    for div in divs:  # 循環這個區域
        try:
            # 注意下面是經過div去進行的xpath查找，同時加上try方式報錯
            shouli = div.xpath('span[1]/p/a/text()')[0]  # 受理單位
            type = div.xpath('span[2]/p/text()')[0].replace("\n","")  # 投訴類型
            content = div.xpath('span[3]/p/a/text()')[0]  # 投訴內容
            datetime = div.xpath('span[4]/p/text()')[0].replace("\n","")  # 時間
            status = div.xpath('span[6]/p/text()')[0].replace("\n","")  # 時間
            one_data = {"shouli":shouli,
                        "type":type,
                        "content":content,
                        "datetime":datetime,
                        "status":status,
                        }
            print(one_data)  # 打印數據，方便存儲到mongodb裏面
            
        except Exception as e:
            print("內部數據報錯")
            print(div)
            continue

代碼完成，很是爽

最後抓取到了 13765 條數據，官方在我抓取的時候是13790，差了25條數據，沒有大的影響~

數據我都存儲在了 mongodb裏面，關於這個如何使用，請去看我之前的代碼吧~~~~

這些數據，放着之後作數據分析用了。