python爬蟲學習筆記-網絡爬蟲的三種數據解析方式

時間  2020-05-08
標籤 python 爬蟲 學習 筆記 網絡 三種 數據 解析 方式 欄目 Python 简体版
原文   原文鏈接

爬蟲的分類php

1.通用爬蟲：通用爬蟲是搜索引擎（Baidu、Google、Yahoo等）「抓取系統」的重要組成部分。主要目的是將互聯網上的網頁下載到本地，造成一個互聯網內容的鏡像備份。  簡單來說就是儘量的；把互聯網上的全部的網頁下載下來，放到本地服務器裏造成備分，在對這些網頁作相關處理(提取關鍵字、去掉廣告)，最後提供一個用戶檢索接口。 
　　　　搜索引擎如何抓取互聯網上的網站數據？
　　　　　　門戶網站主動向搜索引擎公司提供其網站的url
　　　　　　搜索引擎公司與DNS服務商合做，獲取網站的url
　　　　　　門戶網站主動掛靠在一些知名網站的友情連接中
2.聚焦爬蟲：聚焦爬蟲是根據指定的需求抓取網絡上指定的數據。例如：獲取豆瓣上電影的名稱和影評，而不是獲取整張頁面中全部的數據值。

robots.txt協議
    - 若是本身的門戶網站中的指定頁面中的數據不想讓爬蟲程序爬取到的話，那麼則能夠經過編寫一個robots.txt的協議文件來約束爬蟲程序的數據爬取。robots協議的編寫格式能夠觀察淘寶網的robots（訪問www.taobao.com/robots.txt便可）。可是須要注意的是，該協議只是至關於口頭的協議，並無使用相關技術進行強制管制，因此該協議是防君子不防小人。可是咱們在學習爬蟲階段編寫的爬蟲程序能夠先忽略robots協議。
反爬蟲
   - 門戶網站經過相應的策略和技術手段，防止爬蟲程序進行網站數據的爬取。
反反爬蟲
   - 爬蟲程序經過相應的策略和技術手段，破解門戶網站的反爬蟲手段，從而爬取到相應的數據。

　　

網絡爬蟲之requests模塊html

  • 基於requests的get請求
  • 基於requests模塊的post請求
  • 基於requests模塊ajax的get請求
  • 基於requests模塊ajax的post請求
  • 綜合項目練習：爬取國家藥品監督管理總局中基於中華人民共和國化妝品生產許可證相關數據

- 基於以下5點展開requests模塊的學習

  • 什麼是requests模塊
    • requests模塊是python中原生的基於網絡請求的模塊，其主要做用是用來模擬瀏覽器發起請求。功能強大，用法簡潔高效。在爬蟲領域中佔據着半壁江山的地位。
  • 爲何要使用requests模塊
    • 由於在使用urllib模塊的時候，會有諸多不便之處，總結以下：
      • 手動處理url編碼
      • 手動處理post請求參數
      • 處理cookie和代理操做繁瑣
      • ......
    • 使用requests模塊：
      • 自動處理url編碼
      • 自動處理post請求參數
      • 簡化cookie和代理操做
      • ......
  • 如何使用requests模塊
    • 安裝：
      • pip install requests
    • 使用流程
      • 指定url
      • 基於requests模塊發起請求
      • 獲取響應對象中的數據值
      • 持久化存儲

python網絡爬蟲的三種解析方式java

  • 正則解析
  • xpath解析
  • bs4解析

一.常見的正解解析

單字符：
        . : 除換行之外全部字符
        [] ：[aoe] [a-w] 匹配集合中任意一個字符
        \d ：數字  [0-9]
        \D : 非數字
        \w ：數字、字母、下劃線、中文
        \W : 非\w
        \s ：全部的空白字符包,括空格、製表符、換頁符等等。等價於 [ \f\n\r\t\v]。
        \S : 非空白
    數量修飾：
        * : 任意屢次  >=0
        + : 至少1次   >=1
        ? : 無關緊要  0次或者1次
        {m} ：固定m次 hello{3,}
        {m,} ：至少m次
        {m,n} ：m-n次
    邊界：
        $ : 以某某結尾 
        ^ : 以某某開頭
    分組：
        (ab)  
    貪婪模式： .*
    非貪婪（惰性）模式： .*?

    re.I : 忽略大小寫
    re.M ：多行匹配
    re.S ：單行匹配

    re.sub(正則表達式, 替換內容, 字符串)
import re #提取出python
key="javapythonc++php" re.findall('python',key)[0] ################################################# #提取出hello world
key="<html><h1>hello world<h1></html>" re.findall('<h1>(.*)<h1>',key)[0] ################################################# #提取170
string = '我喜歡身高爲170的女孩' re.findall('\d+',string) ################################################# #提取出http://和https://
key='http://www.baidu.com and https://boob.com' re.findall('https?://',key) ################################################# #提取出hello
key='lalala<hTml>hello</HtMl>hahah' #輸出<hTml>hello</HtMl>
re.findall('<[Hh][Tt][mM][lL]>(.*)</[Hh][Tt][mM][lL]>',key) ################################################# #提取出hit. 
key='bobo@hit.edu.com'#想要匹配到hit.
re.findall('h.*?\.',key) ################################################# #匹配sas和saas
key='saas and sas and saaas' re.findall('sa{1,2}s',key) ################################################# #匹配出i開頭的行
string = '''fall in love with you i love you very much i love she i love her''' re.findall('^.*',string,re.M) ################################################# #匹配所有行
string1 = """<div>靜夜思 窗前明月光 疑是地上霜 舉頭望明月 低頭思故鄉 </div>""" re.findall('.*',string1,re.S)
正則使用小練習 
#!/usr/bin/env python # -*- coding:utf-8 -*-
import requests import re import os if __name__ == "__main__": url = 'https://www.qiushibaike.com/pic/%s/' headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', } #指定起始也結束頁碼
     page_start = int(input('enter start page:')) page_end = int(input('enter end page:')) #建立文件夾
     if not os.path.exists('images'): os.mkdir('images') #循環解析且下載指定頁碼中的圖片數據
     for page in range(page_start,page_end+1): print('正在下載第%d頁圖片'%page) new_url = format(url % page) response = requests.get(url=new_url,headers=headers) #解析response中的圖片連接
         e = '<div class="thumb">.*?<img src="(.*?)".*?>.*?</div>' pa = re.compile(e,re.S) image_urls = pa.findall(response.text) #循環下載該頁碼下全部的圖片數據
         for image_url in image_urls: image_url = 'https:' + image_url image_name = image_url.split('/')[-1] image_path = 'images/'+image_name image_data = requests.get(url=image_url,headers=headers).content with open(image_path,'wb') as fp: fp.write(image_data)
項目需求：爬取糗事百科指定頁面的糗圖，並將其保存到指定文件夾中

 

二.Xpath解析

經常使用的xpath表達式：

屬性定位：
    #找到class屬性值爲song的div標籤
    //div[@class="song"] 
層級&索引定位：
    #找到class屬性值爲tang的div的直系子標籤ul下的第二個子標籤li下的直系子標籤a
    //div[@class="tang"]/ul/li[2]/a
邏輯運算：
    #找到href屬性值爲空且class屬性值爲du的a標籤
    //a[@href="" and @class="du"]
模糊匹配：
    //div[contains(@class, "ng")]
    //div[starts-with(@class, "ta")]
取文本：
    # /表示獲取某個標籤下的文本內容
    # //表示獲取某個標籤下的文本內容和全部子標籤下的文本內容
    //div[@class="song"]/p[1]/text()
    //div[@class="tang"]//text()
取屬性：
    //div[@class="tang"]//li[2]/a/@href
<html lang="en">
<head>
    <meta charset="UTF-8" />
    <title>測試bs4</title>
</head>
<body>
    <div>
        <p>百里守約</p>
    </div>
    <div class="song">
        <p>李清照</p>
        <p>王安石</p>
        <p>蘇軾</p>
        <p>柳宗元</p>
        <a href="http://www.song.com/" title="趙匡胤" target="_self">
            <span>this is span</span> 宋朝是最強大的王朝，不是軍隊的強大，而是經濟很強大，國民都頗有錢</a>
        <a href="" class="du">總爲浮雲能蔽日,長安不見令人愁</a>
        <img src="http://www.baidu.com/meinv.jpg" alt="" />
    </div>
    <div class="tang">
        <ul>
            <li><a href="http://www.baidu.com" title="qing">清明時節雨紛紛,路上行人慾斷魂,借問酒家何處有,牧童遙指杏花村</a></li>
            <li><a href="http://www.163.com" title="qin">秦時明月漢時關,萬里長征人未還,但使龍城飛將在,不教胡馬度陰山</a></li>
            <li><a href="http://www.126.com" alt="qi">岐王宅裏尋常見,崔九堂前幾度聞,正是江南好風景,落花時節又逢君</a></li>
            <li><a href="http://www.sina.com" class="du">杜甫</a></li>
            <li><a href="http://www.dudu.com" class="du">杜牧</a></li>
            <li><b>杜小月</b></li>
            <li><i>度蜜月</i></li>
            <li><a href="http://www.haha.com" id="feng">鳳凰臺上鳳凰遊,鳳去臺空江自流,吳宮花草埋幽徑,晉代衣冠成古丘</a></li>
        </ul>
    </div>
</body>
</html>
測試頁面數據 
1.下載：pip install lxml 2.導包：from lxml import etree 3.將html文檔或者xml文檔轉換成一個etree對象，而後調用對象中的方法查找指定的節點 　　2.1 本地文件：tree = etree.parse(文件名) tree.xpath("xpath表達式") 　　2.2 網絡數據：tree = etree.HTML(網頁內容字符串) tree.xpath("xpath表達式") 安裝xpath插件在瀏覽器中對xpath表達式進行驗證：能夠在插件中直接執行xpath表達式 將xpath插件拖動到谷歌瀏覽器拓展程序（更多工具）中，安裝成功 啓動和關閉插件 ctrl + shift + x
from lxml import etree import requests url='http://www.haoduanzi.com/category-10_2.html' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36', } url_content=requests.get(url,headers=headers).text #使用xpath對url_conten進行解析 #使用xpath解析從網絡上獲取的數據
tree=etree.HTML(url_content) #解析獲取當頁全部段子的標題
title_list=tree.xpath('//div[@class="log cate10 auth1"]/h3/a/text()') ele_div_list=tree.xpath('//div[@class="log cate10 auth1"]') text_list=[] #最終會存儲12個段子的文本內容
for ele in ele_div_list: #段子的文本內容（是存放在list列表中）
    text_list=ele.xpath('./div[@class="cont"]//text()') #list列表中的文本內容所有提取到一個字符串中
    text_str=str(text_list) #字符串形式的文本內容防止到all_text列表中
 text_list.append(text_str) print(title_list) print(text_list)
項目需求：獲取好段子中段子的內容和做者 http://www.haoduanzi.com 
import requests from lxml import etree from fake_useragent import UserAgent import base64 import urllib.request url = 'http://jandan.net/ooxx' ua = UserAgent(verify_ssl=False,use_cache_server=False).random headers = { 'User-Agent':ua } page_text = requests.get(url=url,headers=headers).text #查看頁面源碼：發現全部圖片的src值都是同樣的。 #簡單觀察會發現每張圖片加載都是經過jandan_load_img(this)這個js函數實現的。 #在該函數後面還有一個class值爲img-hash的標籤，裏面存儲的是一組hash值，該值就是加密後的img地址 #加密就是經過js函數實現的，因此分析js函數，獲知加密方式，而後進行解密。 #經過抓包工具抓取起始url的數據包，在數據包中全局搜索js函數名（jandan_load_img），而後分析該函數實現加密的方式。 #在該js函數中發現有一個方法調用，該方法就是加密方式，對該方法進行搜索 #搜索到的方法中會發現base64和md5等字樣，md5是不可逆的因此優先考慮使用base64解密 #print(page_text)
 tree = etree.HTML(page_text) #在抓包工具的數據包響應對象對應的頁面中進行xpath的編寫，而不是在瀏覽器頁面中。 #獲取了加密的圖片url數據
imgCode_list = tree.xpath('//span[@class="img-hash"]/text()') imgUrl_list = [] for url in imgCode_list: #base64.b64decode(url)爲byte類型，須要轉成str
    img_url = 'http:'+base64.b64decode(url).decode() imgUrl_list.append(img_url) for url in imgUrl_list: filePath = url.split('/')[-1] urllib.request.urlretrieve(url=url,filename=filePath) print(filePath+'下載成功')
下載煎蛋網中的圖片數據：http://jandan.net/ooxx

 

import requests from lxml import etree headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36' } url = 'http://pic.netbian.com/4kdongman/' response = requests.get(url=url,headers=headers) #手動設定響應數據的編碼 # response.encoding = 'utf-8'
 page_text = response.text #數據解析（圖片地址，圖片名稱）
tree = etree.HTML(page_text) li_list = tree.xpath('//div[@class="slist"]/ul/li') for li in li_list: #局部內容解析
    img_src = 'http://pic.netbian.com'+li.xpath('./a/img/@src')[0] img_name = li.xpath('./a/img/@alt')[0] #處理中文亂碼的通用形式
    img_name = img_name.encode('iso-8859-1').decode('gbk') #返回圖片二進制的數據.content
    img_data = requests.get(url=img_src,headers=headers).content img_path = './qiutuLibs/'+img_name+'.jpg' with open(img_path,'wb') as fp: fp.write(img_data) print(img_name,'下載成功！！！')
需求：下載彼岸圖網的圖片

 

爬取boss直聘裏的招聘信息：職位，薪資，公司名稱，崗位職責python

 

 

 

import requests from lxml import etree import json headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36' } url = 'https://www.zhipin.com/job_detail/?query=python%E7%88%AC%E8%99%AB&city=101010100&industry=&position=' page_text = requests.get(url=url,headers=headers).text #數據解析：jobName，salary，company，jobDesc
tree = etree.HTML(page_text) li_list = tree.xpath('//div[@class="job-list"]/ul/li') job_data_list = [] for li in li_list: job_name = li.xpath('.//div[@class="info-primary"]/h3/a/div/text()')[0] salary = li.xpath('.//div[@class="info-primary"]/h3/a/span/text()')[0] company = li.xpath('.//div[@class="company-text"]/h3/a/text()')[0] detail_url = 'https://www.zhipin.com'+li.xpath('.//div[@class="info-primary"]/h3/a/@href')[0] #詳情頁的頁面源碼數據
    detail_page_text = requests.get(url=detail_url,headers=headers).text detail_tree = etree.HTML(detail_page_text) job_desc = detail_tree.xpath('//*[@id="main"]/div[3]/div/div[2]/div[2]/div[1]/div//text()') job_desc = ''.join(job_desc) dic = { 'job_name':job_name, 'salary':salary, 'company':company, 'job_desc':job_desc } job_data_list.append(dic) fp = open('job.json','w',encoding='utf-8') json.dump(job_data_list,fp,ensure_ascii=False) fp.close() print('over')
需求:爬取boss直聘招聘信息

 

在全國空氣質量歷史數據查詢網站上爬取全部城市名稱linux

連接：https://www.aqistudy.cn/historydata/c++

多個xpath匹配（'|'）符號實現：city_list = tree.xpath('//div[@class="bottom"]/ul/li/a/text() | //div[@class="bottom"]/ul/div[2]/li/a/text()')ajax

import requests from lxml import etree headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36' } url = 'https://www.aqistudy.cn/historydata/' page_text = requests.get(url=url,headers=headers).text tree = etree.HTML(page_text) city_list = tree.xpath('//div[@class="bottom"]/ul/li/a/text() | //div[@class="bottom"]/ul/div[2]/li/a/text()') print(city_list) print(len(city_list)) #hot_city：//div[@class="bottom"]/ul/li/a/text() #all_city://div[@class="bottom"]/ul/div[2]/li/a/text()
需求：爬取解析全國地區名稱

 

三.BeautifulSoup解析

- 須要將pip源設置爲國內源，阿里源、豆瓣源、網易源等 - windows （1）打開文件資源管理器(文件夾地址欄中) （2）地址欄上面輸入 %appdata% （3）在這裏面新建一個文件夾 pip （4）在pip文件夾裏面新建一個文件叫作 pip.ini ,內容寫以下便可 [global] timeout = 6000 index-url = https://mirrors.aliyun.com/pypi/simple/ trusted-host = mirrors.aliyun.com - linux （1）cd ~ （2）mkdir ~/.pip （3）vi ~/.pip/pip.conf （4）編輯內容，和windows如出一轍 - 須要安裝：pip install bs4 bs4在使用時候須要一個第三方庫，把這個庫也安裝一下 pip install lxml
環境安裝

 

基礎使用 使用流程： - 導包：from bs4 import BeautifulSoup - 使用方式：能夠將一個html文檔，轉化爲BeautifulSoup對象，而後經過對象的方法或者屬性去查找指定的節點內容 （1）轉化本地文件： - soup = BeautifulSoup(open('本地文件'), 'lxml') （2）轉化網絡文件： - soup = BeautifulSoup('字符串類型或者字節類型', 'lxml') （3）打印soup對象顯示內容爲html文件中的內容 基礎鞏固： （1）根據標籤名查找 - soup.a 只能找到第一個符合要求的標籤 （2）獲取屬性 - soup.a.attrs 獲取a全部的屬性和屬性值，返回一個字典 - soup.a.attrs['href'] 獲取href屬性 - soup.a['href'] 也可簡寫爲這種形式 （3）獲取內容 - soup.a.string - soup.a.text - soup.a.get_text() 【注意】若是標籤還有標籤，那麼string獲取到的結果爲None，而其它兩個，能夠獲取文本內容 　　　　　string = xpath中的 /text()直系, text,get.test = xpath中的 //text()全部 　　（4）find：找到第一個符合要求的標籤 　　　　　- soup.find('a') 找到第一個符合要求的 　　　　　- soup.find('a', title="xxx") 　　　　　- soup.find('a', alt="xxx") 　　　　　- soup.find('a', class_="xxx") 　　　　　- soup.find('a', id="xxx") 　　（5）find_all：找到全部符合要求的標籤 　　　　　- soup.find_all('a') 　　　　　- soup.find_all(['a','b']) 找到全部的a和b標籤 　　　　　- soup.find_all('a', limit=2) 限制前兩個 　　（6）根據選擇器選擇指定的內容 
　　　　　- select:soup.select('#feng') 　　　　　- 常見的選擇器：標籤選擇器(a)、類選擇器(.)、id選擇器(#)、層級選擇器 
　　　　　- 層級選擇器： div .dudu #lala .meme .xixi 下面好多級 div > p > a > .lala 只能是下面一級 
　　【注意】select選擇器返回永遠是列表，須要經過下標提取指定的對象 　　　　　 層級選擇器中沒法使用索引定位，會返回空，可是獲得的列表是可使用索引定位的

 

案例演示：正則表達式

http://www.shicimingju.com/book/sanguoyanyi.html #!/usr/bin/env python # -*- coding:utf-8 -*-
import requests from bs4 import BeautifulSoup headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', } def parse_content(url): #獲取標題正文頁數據
    page_text = requests.get(url,headers=headers).text soup = BeautifulSoup(page_text,'lxml') #解析得到標籤
    ele = soup.find('div',class_='chapter_content') content = ele.text #獲取標籤中的數據值
    return content if __name__ == "__main__": url = 'http://www.shicimingju.com/book/sanguoyanyi.html' reponse = requests.get(url=url,headers=headers) page_text = reponse.text #建立soup對象
     soup = BeautifulSoup(page_text,'lxml') #解析數據
     a_eles = soup.select('.book-mulu > ul > li > a') print(a_eles) cap = 1
     for ele in a_eles: print('開始下載第%d章節'%cap) cap+=1 title = ele.string content_url = 'http://www.shicimingju.com'+ele['href'] content = parse_content(content_url) with open('./sanguo.txt','w') as fp: fp.write(title+":"+content+'\n\n\n\n\n') print('結束下載第%d章節'%cap)
需求：使用bs4實現將詩詞名句網站中三國演義小說的每一章的內容爬去到本地磁盤進行存儲
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程