Python網絡爬蟲之三種數據解析方式

時間 2019-11-09

原文原文鏈接

引入

回顧requests實現數據爬取的流程

指定url
基於requests模塊發起請求
獲取響應對象中的數據
進行持久化存儲

其實，在上述流程中還須要較爲重要的一步，就是在持久化存儲以前須要進行指定數據解析。由於大多數狀況下的需求，咱們都會指定去使用聚焦爬蟲，也就是爬取頁面中指定部分的數據值，而不是整個頁面的數據。所以，本次課程中會給你們詳細介紹講解三種聚焦爬蟲中的數據解析方式。至此，咱們的數據爬取的流程能夠修改成：php

指定url
基於requests模塊發起請求
獲取響應中的數據
數據解析
進行持久化存儲

今日概要html

正則解析
xpath解析
bs4解析

知識點回顧java

requests模塊的使用流程
requests模塊請求方法參數的做用
抓包工具抓取ajax的數據包

一.正解解析

經常使用正則表達式回顧：

單字符：
        . : 除換行之外全部字符
        [] ：[aoe] [a-w] 匹配集合中任意一個字符
        \d ：數字  [0-9] \D : 非數字 \w ：數字、字母、下劃線、中文 \W : 非\w \s ：全部的空白字符包,括空格、製表符、換頁符等等。等價於 [ \f\n\r\t\v]。 \S : 非空白 數量修飾： * : 任意屢次 >=0 + : 至少1次 >=1 ? : 無關緊要 0次或者1次 {m} ：固定m次 hello{3,} {m,} ：至少m次 {m,n} ：m-n次 邊界： $ : 以某某結尾 ^ : 以某某開頭 分組： (ab) 貪婪模式： .* 非貪婪（惰性）模式： .*? re.I : 忽略大小寫 re.M ：多行匹配 re.S ：單行匹配 re.sub(正則表達式, 替換內容, 字符串)

回顧練習：

import re #提取出python key="javapythonc++php" re.findall('python',key)[0] ##################################################################### #提取出hello world key="<html><h1>hello world<h1></html>" re.findall('<h1>(.*)<h1>',key)[0] ##################################################################### #提取170 string = '我喜歡身高爲170的女孩' re.findall('\d+',string) ##################################################################### #提取出http://和https:// key='http://www.baidu.com and https://boob.com' re.findall('https?://',key) ##################################################################### #提取出hello key='lalala<hTml>hello</HtMl>hahah' #輸出<hTml>hello</HtMl> re.findall('<[Hh][Tt][mM][lL]>(.*)</[Hh][Tt][mM][lL]>',key) ##################################################################### #提取出hit. key='bobo@hit.edu.com'#想要匹配到hit. re.findall('h.*?\.',key) ##################################################################### #匹配sas和saas key='saas and sas and saaas' re.findall('sa{1,2}s',key) ##################################################################### #匹配出i開頭的行 string = '''fall in love with you i love you very much i love she i love her''' re.findall('^.*',string,re.M) ##################################################################### #匹配所有行 string1 = """<div>靜夜思 窗前明月光 疑是地上霜 舉頭望明月 低頭思故鄉 </div>""" re.findall('.*',string1,re.S)

項目需求：爬取糗事百科指定頁面的糗圖，並將其保存到指定文件夾中

#!/usr/bin/env python # -*- coding:utf-8 -*- import requests import re import os if __name__ == "__main__": url = 'https://www.qiushibaike.com/pic/%s/' headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', } #指定起始也結束頁碼 page_start = int(input('enter start page:')) page_end = int(input('enter end page:')) #建立文件夾 if not os.path.exists('images'): os.mkdir('images') #循環解析且下載指定頁碼中的圖片數據 for page in range(page_start,page_end+1): print('正在下載第%d頁圖片'%page) new_url = format(url % page) response = requests.get(url=new_url,headers=headers) #解析response中的圖片連接 e = '<div class="thumb">.*?<img src="(.*?)".*?>.*?</div>' pa = re.compile(e,re.S) image_urls = pa.findall(response.text) #循環下載該頁碼下全部的圖片數據 for image_url in image_urls: image_url = 'https:' + image_url image_name = image_url.split('/')[-1] image_path = 'images/'+image_name image_data = requests.get(url=image_url,headers=headers).content with open(image_path,'wb') as fp: fp.write(image_data)

二.Xpath解析

測試頁面數據

<html lang="en"> <head> <meta charset="UTF-8" /> <title>測試bs4</title> </head> <body> <div> <p>百里守約</p> </div> <div class="song"> <p>李清照</p> <p>王安石</p> <p>蘇軾</p> <p>柳宗元</p> <a href="http://www.song.com/" title="趙匡胤" target="_self"> <span>this is span</span> 宋朝是最強大的王朝，不是軍隊的強大，而是經濟很強大，國民都頗有錢</a> <a href="" class="du">總爲浮雲能蔽日,長安不見令人愁</a> <img src="http://www.baidu.com/meinv.jpg" alt="" /> </div> <div class="tang"> <ul> <li><a href="http://www.baidu.com" title="qing">清明時節雨紛紛,路上行人慾斷魂,借問酒家何處有,牧童遙指杏花村</a></li> <li><a href="http://www.163.com" title="qin">秦時明月漢時關,萬里長征人未還,但使龍城飛將在,不教胡馬度陰山</a></li> <li><a href="http://www.126.com" alt="qi">岐王宅裏尋常見,崔九堂前幾度聞,正是江南好風景,落花時節又逢君</a></li> <li><a href="http://www.sina.com" class="du">杜甫</a></li> <li><a href="http://www.dudu.com" class="du">杜牧</a></li> <li><b>杜小月</b></li> <li><i>度蜜月</i></li> <li><a href="http://www.haha.com" id="feng">鳳凰臺上鳳凰遊,鳳去臺空江自流,吳宮花草埋幽徑,晉代衣冠成古丘</a></li> </ul> </div> </body> </html>

經常使用xpath表達式回顧

屬性定位：
    #找到class屬性值爲song的div標籤 //div[@class="song"] 層級&索引定位： #找到class屬性值爲tang的div的直系子標籤ul下的第二個子標籤li下的直系子標籤a //div[@class="tang"]/ul/li[2]/a 邏輯運算： #找到href屬性值爲空且class屬性值爲du的a標籤 //a[@href="" and @class="du"] 模糊匹配： //div[contains(@class, "ng")] //div[starts-with(@class, "ta")] 取文本： # /表示獲取某個標籤下的文本內容 # //表示獲取某個標籤下的文本內容和全部子標籤下的文本內容 //div[@class="song"]/p[1]/text() //div[@class="tang"]//text() 取屬性： //div[@class="tang"]//li[2]/a/@href

代碼中使用xpath表達式進行數據解析：

1.下載：pip install lxml 2.導包：from lxml import etree 3.將html文檔或者xml文檔轉換成一個etree對象，而後調用對象中的方法查找指定的節點 　　2.1 本地文件：tree = etree.parse(文件名) tree.xpath("xpath表達式") 　　2.2 網絡數據：tree = etree.HTML(網頁內容字符串) tree.xpath("xpath表達式")

安裝xpath插件在瀏覽器中對xpath表達式進行驗證：能夠在插件中直接執行xpath表達式
- 將xpath插件拖動到谷歌瀏覽器拓展程序（更多工具）中，安裝成功python
- 啓動和關閉插件 ctrl + shift + xlinux

項目需求：獲取好段子中段子的內容和做者 http://www.haoduanzi.comc++

from lxml import etree import requests url='http://www.haoduanzi.com/category-10_2.html' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36', } url_content=requests.get(url,headers=headers).text #使用xpath對url_conten進行解析 #使用xpath解析從網絡上獲取的數據 tree=etree.HTML(url_content) #解析獲取當頁全部段子的標題 title_list=tree.xpath('//div[@class="log cate10 auth1"]/h3/a/text()') ele_div_list=tree.xpath('//div[@class="log cate10 auth1"]') text_list=[] #最終會存儲12個段子的文本內容 for ele in ele_div_list: #段子的文本內容（是存放在list列表中） text_list=ele.xpath('./div[@class="cont"]//text()') #list列表中的文本內容所有提取到一個字符串中 text_str=str(text_list) #字符串形式的文本內容防止到all_text列表中 text_list.append(text_str) print(title_list) print(text_list)

【重點】下載煎蛋網中的圖片數據：http://jandan.net/ooxx

import requests from lxml import etree from fake_useragent import UserAgent import base64 import urllib.request url = 'http://jandan.net/ooxx' ua = UserAgent(verify_ssl=False,use_cache_server=False).random headers = { 'User-Agent':ua } page_text = requests.get(url=url,headers=headers).text #查看頁面源碼：發現全部圖片的src值都是同樣的。 #簡單觀察會發現每張圖片加載都是經過jandan_load_img(this)這個js函數實現的。 #在該函數後面還有一個class值爲img-hash的標籤，裏面存儲的是一組hash值，該值就是加密後的img地址 #加密就是經過js函數實現的，因此分析js函數，獲知加密方式，而後進行解密。 #經過抓包工具抓取起始url的數據包，在數據包中全局搜索js函數名（jandan_load_img），而後分析該函數實現加密的方式。 #在該js函數中發現有一個方法調用，該方法就是加密方式，對該方法進行搜索 #搜索到的方法中會發現base64和md5等字樣，md5是不可逆的因此優先考慮使用base64解密 #print(page_text) tree = etree.HTML(page_text) #在抓包工具的數據包響應對象對應的頁面中進行xpath的編寫，而不是在瀏覽器頁面中。 #獲取了加密的圖片url數據 imgCode_list = tree.xpath('//span[@class="img-hash"]/text()') imgUrl_list = [] for url in imgCode_list: #base64.b64decode(url)爲byte類型，須要轉成str img_url = 'http:'+base64.b64decode(url).decode() imgUrl_list.append(img_url) for url in imgUrl_list: filePath = url.split('/')[-1] urllib.request.urlretrieve(url=url,filename=filePath) print(filePath+'下載成功')

【重點】

- 問題：每每在進行大量請求發送的時候，常常會報出這同樣的一個錯誤：HTTPConnectionPool（host:XX）Max retries exceeded with url。

- 緣由：

1.每次數據傳輸前客戶端要和服務器創建TCP鏈接，爲節省傳輸消耗，默認爲keep-alive，即鏈接一次，傳輸屢次。然而若是鏈接遲遲不斷開的話，則鏈接池滿後則沒法產生新的連接對象，致使請求沒法發送。

2.ip被封

3.請求頻率太頻繁

- 解決：若是下列解決未生效，則能夠嘗試再次執行程序

1.設置請求頭中的Connection的值爲close，表示每次請求成功後斷開鏈接

2.更換請求ip

3.每次請求之間使用sleep進行等待間隔

import requests from fake_useragent import UserAgent from lxml import etree import random import time url = 'http://sc.chinaz.com/jianli/free_%d.html' ua = UserAgent(verify_ssl=False,use_cache_server=False).random headers = { 'User-Agent':ua, #保證http請求成功後，當即斷開鏈接，以解決HTTPConnectionPool（host:XX）Max retries exceeded with url的問題 'Connection': 'close', #該行不寫，則會報錯 } #proxy_list = ['101.255.56.201:36501','39.137.69.10:8080','195.29.106.178:58292','120.76.77.152:9999','178.75.1.111:50411','78.156.225.170:41258','193.192.177.196:56480'] for pageNum in range(1,3): get_url = format(url%pageNum) if pageNum==1: get_url = 'http://sc.chinaz.com/jianli/free.html' response = requests.get(url=get_url,headers=headers) response.encoding = 'utf-8'#處理中文亂碼問題 page_text = response.text tree = etree.HTML(page_text) div_list = tree.xpath('//div[@id="container"]/div') for div in div_list: second_url = div.xpath('./a/@href')[0] name = div.xpath('./p/a/text()')[0]+'.rar' second_page_text = requests.get(url=second_url,headers=headers).text second_tree = etree.HTML(second_page_text) download_url_list = second_tree.xpath('//div[@class="clearfix mt20 downlist"]/ul/li/a/@href') download_url = random.choice(download_url_list) data = requests.get(url=download_url,headers=headers).content with open(name,'wb') as fp: fp.write(data) print('下載完畢===>'+name) #解決HTTPConnectionPool（host:XX）Max retries exceeded with url的問題： #time.sleep(3) #延長請求時間，模擬瀏覽器，不然請求頻率太快會請求失敗 #使用代理池 #設置請求頭信息中的Connection爲close

三.BeautifulSoup解析

環境安裝

- 須要將pip源設置爲國內源，阿里源、豆瓣源、網易源等
   - windows
    （1）打開文件資源管理器(文件夾地址欄中) （2）地址欄上面輸入 %appdata% （3）在這裏面新建一個文件夾 pip （4）在pip文件夾裏面新建一個文件叫作 pip.ini ,內容寫以下便可 [global] timeout = 6000 index-url = https://mirrors.aliyun.com/pypi/simple/ trusted-host = mirrors.aliyun.com - linux （1）cd ~ （2）mkdir ~/.pip （3）vi ~/.pip/pip.conf （4）編輯內容，和windows如出一轍 - 須要安裝：pip install bs4 bs4在使用時候須要一個第三方庫，把這個庫也安裝一下 pip install lxml

基礎使用

使用流程：       
    - 導包：from bs4 import BeautifulSoup - 使用方式：能夠將一個html文檔，轉化爲BeautifulSoup對象，而後經過對象的方法或者屬性去查找指定的節點內容 （1）轉化本地文件： - soup = BeautifulSoup(open('本地文件'), 'lxml') （2）轉化網絡文件： - soup = BeautifulSoup('字符串類型或者字節類型', 'lxml') （3）打印soup對象顯示內容爲html文件中的內容 基礎鞏固： （1）根據標籤名查找 - soup.a 只能找到第一個符合要求的標籤 （2）獲取屬性 - soup.a.attrs 獲取a全部的屬性和屬性值，返回一個字典 - soup.a.attrs['href'] 獲取href屬性 - soup.a['href'] 也可簡寫爲這種形式 （3）獲取內容 - soup.a.string - soup.a.text - soup.a.get_text() 【注意】若是標籤還有標籤，那麼string獲取到的結果爲None，而其它兩個，能夠獲取文本內容 （4）find：找到第一個符合要求的標籤 - soup.find('a') 找到第一個符合要求的 - soup.find('a', title="xxx") - soup.find('a', alt="xxx") - soup.find('a', class_="xxx") - soup.find('a', id="xxx") （5）find_all：找到全部符合要求的標籤 - soup.find_all('a') - soup.find_all(['a','b']) 找到全部的a和b標籤 - soup.find_all('a', limit=2) 限制前兩個 （6）根據選擇器選擇指定的內容 select:soup.select('#feng') - 常見的選擇器：標籤選擇器(a)、類選擇器(.)、id選擇器(#)、層級選擇器 - 層級選擇器： div .dudu #lala .meme .xixi 下面好多級 div > p > a > .lala 只能是下面一級 【注意】select選擇器返回永遠是列表，須要經過下標提取指定的對象

需求：使用bs4實現將詩詞名句網站中三國演義小說的每一章的內容爬去到本地磁盤進行存儲 http://www.shicimingju.com/book/sanguoyanyi.html

#!/usr/bin/env python # -*- coding:utf-8 -*- import requests from bs4 import BeautifulSoup headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', } def parse_content(url): #獲取標題正文頁數據 page_text = requests.get(url,headers=headers).text soup = BeautifulSoup(page_text,'lxml') #解析得到標籤 ele = soup.find('div',class_='chapter_content') content = ele.text #獲取標籤中的數據值 return content if __name__ == "__main__": url = 'http://www.shicimingju.com/book/sanguoyanyi.html' reponse = requests.get(url=url,headers=headers) page_text = reponse.text #建立soup對象 soup = BeautifulSoup(page_text,'lxml') #解析數據 a_eles = soup.select('.book-mulu > ul > li > a') print(a_eles) cap = 1 for ele in a_eles: print('開始下載第%d章節'%cap) cap+=1 title = ele.string content_url = 'http://www.shicimingju.com'+ele['href'] content = parse_content(content_url) with open('./sanguo.txt','w') as fp: fp.write(title+":"+content+'\n\n\n\n\n') print('結束下載第%d章節'%cap)