數據解析,懶加載,代理ip

時間 2019-11-17

標籤數據解析加載代理简体版

原文原文鏈接

　　在前面的requests流程中,還缺乏了一步重要的流程,就是在持久化存儲以前須要進行制定的數據解析.由於在大多數狀況下,咱們都會使用聚焦爬蟲,也就是爬取頁面中的指定部分數據值,而不是整個頁面的數據.php

　　因此,數據爬取的流程應該是 :

　　　　1). 指定urlhtml

　　　　2). 基於requests模塊發起請求java

　　　　3). 獲取響應中的數據python

　　　　4). 數據解析linux

　　　　5). 進行持久化存儲c++

一 . 正則解析

　　 1 . 經常使用正則表達式回顧 :

 #單字符：
        .     :   除換行之外全部字符
        []   ：  [aoe] [a-w] 匹配集合中任意一個字符
        \d   ：  數字  [0-9]
        \D  :   非數字
        \w  ：  數字、字母、下劃線、中文
        \W  :   非\w
        \s   ：  全部的空白字符包,括空格、製表符、換頁符等等。等價於 [ \f\n\r\t\v]。
        \S   :    非空白
 # 數量修飾：
        *   :   任意屢次  >=0
        +   :   至少1次   >=1
        ?   :   無關緊要  0次或者1次
       {m}   ：   固定m次 hello{3,}
       {m,}   ：  至少m次
       {m,n}  ： m-n次
 #邊界：
        $    :  以某某結尾 
        ^   :  以某某開頭
 #分組：
        (ab)  
    貪婪模式 ： .*
    非貪婪（惰性）模式 ： .*?

    re.I   :    忽略大小寫
    re.M   ： 多行匹配
    re.S   ： 單行匹配

    re.sub(正則表達式, 替換內容, 字符串)

　　2 . 回顧練習 : 正則表達式

import re
#提取出python
key="javapythonc++php"
re.findall('python',key)[0]

#####################################################################

#提取出hello world
key="<html><h1>hello world<h1></html>"
re.findall('<h1>(.*)<h1>',key)[0]

#####################################################################

#提取170
string = '我喜歡身高爲170的女孩'
re.findall('\d+',string)

#####################################################################
#提取出http://和https://
key='http://www.baidu.com and https://boob.com'
re.findall('https?://',key)
#####################################################################

#提取出hello
key='lalala<hTml>hello</HtMl>hahah' #輸出<hTml>hello</HtMl>
re.findall('<[Hh][Tt][mM][lL]>(.*)</[Hh][Tt][mM][lL]>',key)

#####################################################################

#提取出hit. 
key='bobo@hit.edu.com'#想要匹配到hit.
re.findall('h.*?\.',key)

#####################################################################

#匹配sas和saas
key='saas and sas and saaas'
re.findall('sa{1,2}s',key)

#####################################################################

#匹配出i開頭的行
string = '''fall in love with you
i love you very much
i love she
i love her'''

re.findall('^.*',string,re.M)

#####################################################################

#匹配所有行
string1 = """<div>靜夜思
窗前明月光
疑是地上霜
舉頭望明月
低頭思故鄉
</div>"""

re.findall('.*',string1,re.S)

正則回顧練習

　　3 . 使用正則爬取'糗事百科指定的頁面圖片',並保持到指定文件中windows

import requests
import re
import urllib    # 保存文件的 , 至關於 with open
import os

url = 'https://www.qiushibaike.com/pic/page/%d/?s=5170552'
# page = 1
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'
}
# 建立文件夾(若是沒有就建立)
if not os.path.exists('./qiutu'):
    os.mkdir('./qiutu')
    
# 指定起始頁碼和結束頁碼
start_page = int(input('enter a start pageNum:'))
end_page = int(input('enter a end pageNum:'))
# 循環解析並下載指定頁碼的圖片數據
for page in range(start_page,end_page+1):
    # 第幾頁
    new_url = format(url%page)
    # 獲取頁面源代碼
    page_text = requests.get(url=new_url,headers=headers).text
    #正則解析圖片的標籤
    img_url_list = re.findall('<div class="thumb">.*?<img src="(.*?)" alt=.*?</div>',page_text,re.S)
    # 循環下載該頁碼的圖片數據
    for url in img_url_list:
        url = 'https:'+url
        imgName = url.split('/')[-1]
        imgPath = 'qiutu/'+imgName
       # 能夠直接寫入文件夾中
        urllib.request.urlretrieve(url=url,filename=imgPath)
        #print(imgPath,'下載成功!')
        
print('over!!!')

二 . Xpath 解析

　　1 . 測試頁面數據 :

<html lang="en">
<head>
    <meta charset="UTF-8" />
    <title>測試bs4</title>
</head>
<body>
    <div>
        <p>百里守約</p>
    </div>
    <div class="song">
        <p>李清照</p>
        <p>王安石</p>
        <p>蘇軾</p>
        <p>柳宗元</p>
        <a href="http://www.song.com/" title="趙匡胤" target="_self">
            <span>this is span</span>
        宋朝是最強大的王朝，不是軍隊的強大，而是經濟很強大，國民都頗有錢</a>
        <a href="" class="du">總爲浮雲能蔽日,長安不見令人愁</a>
        <img src="http://www.baidu.com/meinv.jpg" alt="" />
    </div>
    <div class="tang">
        <ul>
            <li><a href="http://www.baidu.com" title="qing">清明時節雨紛紛,路上行人慾斷魂,借問酒家何處有,牧童遙指杏花村</a></li>
            <li><a href="http://www.163.com" title="qin">秦時明月漢時關,萬里長征人未還,但使龍城飛將在,不教胡馬度陰山</a></li>
            <li><a href="http://www.126.com" alt="qi">岐王宅裏尋常見,崔九堂前幾度聞,正是江南好風景,落花時節又逢君</a></li>
            <li><a href="http://www.sina.com" class="du">杜甫</a></li>
            <li><a href="http://www.dudu.com" class="du">杜牧</a></li>
            <li><b>杜小月</b></li>
            <li><i>度蜜月</i></li>
            <li><a href="http://www.haha.com" id="feng">鳳凰臺上鳳凰遊,鳳去臺空江自流,吳宮花草埋幽徑,晉代衣冠成古丘</a></li>
        </ul>
    </div>
</body>
</html>

　　2 . 經常使用的xpath表達式 : 瀏覽器

#屬性定位：
      #找到class屬性值爲song的div標籤
      //div[@class="song"] 
#層級&索引定位：
    #找到class屬性值爲tang的div的直系子標籤ul下的第二個子標籤li下的#直系子標籤a
      //div[@class="tang"]/ul/li[2]/a
#邏輯運算：
    #找到href屬性值爲空且class屬性值爲du的a標籤
    //a[@href="" and @class="du"]
#模糊匹配：
    //div[contains(@class, "ng")]
    //div[starts-with(@class, "ta")]
#取文本：
    # / 表示獲取某個標籤下的文本內容
    # // 表示獲取某個標籤下的文本內容和全部子標籤下的文本內容
    //div[@class="song"]/p[1]/text()
    //div[@class="tang"]//text()
#取屬性：
    //div[@class="tang"]//li[2]/a/@href

　　3 . 代碼中使用xpath表達式進行數據解析 :

#1.下載：
          pip install lxml
2#.導包：
          from lxml import etree

#3.將html文檔或者xml文檔轉換成一個etree對象，而後調用對象中的方法查找指定的節點

　　#3.1 本地文件：tree = etree.parse(文件名)
                tree.xpath("xpath表達式")

　　#3.2 網絡數據：tree = etree.HTML(網頁內容字符串)
                tree.xpath("xpath表達式")

　　安裝xpath插件在瀏覽器對xpath表達式進行驗證 : 能夠直接在插件中執行 xpath表達式服務器

　　　　將xpath插件拖動到谷歌瀏覽器的擴展程序中(更多工具->擴展程序),安裝成功

　　　　插件下載 ---> xpath插件.zip

　　　　啓動和關閉插件 : Ctrl + shift + x

　　5 . 案例演示

　　　　● 爬取 '好段子'網站中的內容和標題

from lxml import etree
import requests

url='http://www.haoduanzi.com/category-10_2.html'
headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
    }
url_content=requests.get(url,headers=headers).text
#使用xpath對url_conten進行解析
#使用xpath解析從網絡上獲取的數據
tree=etree.HTML(url_content)
#解析獲取當頁全部段子的標題
title_list=tree.xpath('//div[@class="log cate10 auth1"]/h3/a/text()')

ele_div_list=tree.xpath('//div[@class="log cate10 auth1"]')

text_list=[] #最終會存儲12個段子的文本內容
for ele in ele_div_list:
    #段子的文本內容（是存放在list列表中）
    text_list=ele.xpath('./div[@class="cont"]//text()')
    #list列表中的文本內容所有提取到一個字符串中
    text_str=str(text_list)
    #字符串形式的文本內容防止到all_text列表中
    text_list.append(text_str)
print(title_list)
print(text_list)

　　　　● 爬取煎蛋網中圖片數據 : (圖片地址加密的) *********

import requests
from lxml import etree
from fake_useragent import UserAgent
import base64
import urllib.request
url = 'http://jandan.net/ooxx'
ua = UserAgent(verify_ssl=False,use_cache_server=False).random
headers = {
    'User-Agent':ua
}
page_text = requests.get(url=url,headers=headers).text

#查看頁面源碼：發現全部圖片的src值都是同樣的。
#簡單觀察會發現每張圖片加載都是經過jandan_load_img(this)這個js函數實現的。
#在該函數後面還有一個class值爲img-hash的標籤，裏面存儲的是一組hash值，該值就是加密後的img地址
#加密就是經過js函數實現的，因此分析js函數，獲知加密方式，而後進行解密。
#經過抓包工具抓取起始url的數據包，在數據包中全局搜索js函數名（jandan_load_img），而後分析該函數實現加密的方式。
#在該js函數中發現有一個方法調用，該方法就是加密方式，對該方法進行搜索
#搜索到的方法中會發現base64和md5等字樣，md5是不可逆的因此優先考慮使用base64解密
#print(page_text)

tree = etree.HTML(page_text)

#在抓包工具的數據包響應對象對應的頁面中進行xpath的編寫，而不是在瀏覽器頁面中。
#獲取了加密的圖片url數據
imgCode_list = tree.xpath('//span[@class="img-hash"]/text()')
imgUrl_list = []
for url in imgCode_list:
    #base64.b64decode(url)爲byte類型，須要轉成str
    img_url = 'http:'+base64.b64decode(url).decode()
    imgUrl_list.append(img_url)

for url in imgUrl_list:
    filePath = url.split('/')[-1]
    urllib.request.urlretrieve(url=url,filename=filePath)
    print(filePath+'下載成功')

　　　　 ● 解析58二手房的相關數據

# 58二手房信息
import requests

from lxml import etree

url = 'https://bj.58.com/ershoufang/sub/l16/s2242/?utm_source=market&spm=u-2d2yxv86y3v43nkddh1.bdpcpz_bt&PGTID=0d30000c-0000-1139-b00c-643d0d315a04&ClickID=1'
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
}
page_text = requests.get(url,headers=headers).text

tree = etree.HTML(page_text)
li_list = tree.xpath('//ul[@class="house-list-wrap"]/li')

for li in li_list:
    title = li.xpath('./div[2]/h2[1]/a/text()')[0]

　　　　● 下載彼岸網中圖片數據 : 中文亂碼問題

import os
import urllib
url = 'http://pic.netbian.com/4kmeinv/'
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
}
response = requests.get(url,headers=headers)
# print(response.encoding)      # ISO-8859-1
# response.encoding = 'utg-8'

if not os.path.exists('./imgs'):
    os.mkdir('./imgs')

page_text = response.text

tree = etree.HTML(page_text)
li_list = tree.xpath('//div[@class="slist"]/ul/li')
for li in li_list:
    img_name = li.xpath('./a/b/text()')[0]
    # 處理中文亂碼
    img_name = img_name.encode('ISO-8859-1').decode('gbk')
    img_url = 'http://pic.netbian.com' + li.xpath('./a/img/@src')[0]
    img_path = './imgs/' + img_name + '.jpg'
    urllib.request.urlretrieve(url=img_url,filename=img_path)

　　　　● 下載站長素材中的簡歷模板數據

import requests
from lxml import etree
import random
import os

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
}

if not os.path.exists('./jianli'):
    os.mkdir('./jianli')

for i in range(1,4):
    if i == 1:
        url = 'http://sc.chinaz.com/jianli/free.html'
    else:
        url = 'http://sc.chinaz.com/jianli/free_%s.html' % (i)
    
    response = requests.get(url=url, headers=headers)
    response.encoding = 'utf8'

    res = response.text

    tree = etree.HTML(res)

    a_list = tree.xpath('//a[@class="title_wl"]')
    for a in a_list:
        name = a.xpath('./text()')[0]
        jl_url = a.xpath('./@href')[0]

        response = requests.get(url=jl_url, headers=headers)
        response.encoding = 'utf8'
        res1 = response.text
        tree = etree.HTML(res1)
        download_url_list = tree.xpath('//div[@class="clearfix mt20 downlist"]/ul/li/a/@href')
        download_url = random.choice(download_url_list)

        res3 = requests.get(url=download_url, headers=headers).content

        filepath = './jianli/' + name + '.rar'
        with open(filepath, 'wb') as f:
            f.write(res3)
        print(name, '下載完成！')

print('over')

　　　　● 解析全部城市的名稱

import requests
from lxml import etree

url = 'https://www.aqistudy.cn/historydata/'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
}

res = requests.get(url=url, headers=headers).text
tree = etree.HTML(res)
city_list = tree.xpath('//div[@class="bottom"]/ul/li/a/text() | //div[@class="bottom"]/ul/div[2]/li/a/text()')        # 能夠用邏輯運算符，這裏 | 表示或的關係
city = ''.join(city_list)

三 . bs4 (Beautiful Soup) 解析

　　環境安裝 :

#- 須要將pip源設置爲國內源，阿里源、豆瓣源、網易源等
  # - windows
    #（1）打開文件資源管理器(文件夾地址欄中)
    #（2）地址欄上面輸入 %appdata%
    #（3）在這裏面新建一個文件夾  pip
    #（4）在pip文件夾裏面新建一個文件叫作  pip.ini ,內容寫以下便可
        [global]
        timeout = 6000
        index-url = https://mirrors.aliyun.com/pypi/simple/
        trusted-host = mirrors.aliyun.com
   # - linux
    （1）cd ~
    （2）mkdir ~/.pip
    （3）vi ~/.pip/pip.conf
    （4）編輯內容，和windows如出一轍

#- 須要安裝： 咱們能夠直接這樣安裝也能夠
           pip install bs4
    # bs4在使用時候須要一個第三方庫，把這個庫也安裝一下
           pip install lxml

　　基礎使用 :

使用流程：       
    - 導包：from bs4 import BeautifulSoup
    - 使用方式：能夠將一個html文檔，轉化爲BeautifulSoup對象，而後經過對象的方法或者屬性去查找指定的節點內容
     （1）轉化本地文件：
             - soup = BeautifulSoup(open('本地文件'), 'lxml')
        （2）轉化網絡文件：
             - soup = BeautifulSoup('字符串類型或者字節類型', 'lxml')
        （3）打印soup對象顯示內容爲html文件中的內容

基礎鞏固：
    （1）根據標籤名查找
        - soup.a 只能找到第一個符合要求的標籤
    （2）獲取屬性
        - soup.a.attrs  獲取a全部的屬性和屬性值，返回一個字典
        - soup.a.attrs['href']   獲取href屬性
        - soup.a['href'] 也可簡寫爲這種形式
    （3）獲取內容
        - soup.a.string  獲取直系標籤內容
        - soup.a.text
        - soup.a.get_text() 【注意】若是標籤還有標籤，那麼string獲取到的結果爲None，而其它兩個，能夠獲取文本內容
    （4）find：找到第一個符合要求的標籤
        - soup.find('a')  找到第一個符合要求的
        - soup.find('a', title="xxx")
        - soup.find('a', alt="xxx")
        - soup.find('a', class_="xxx")
        - soup.find('a', id="xxx")
    （5）find_all：找到全部符合要求的標籤
        - soup.find_all('a')
        - soup.find_all(['a','b']) 找到全部的a和b標籤
        - soup.find_all('a', limit=2)  限制前兩個
    （6）根據選擇器選擇指定的內容
               select:soup.select('#feng')
        - 常見的選擇器：標籤選擇器(a)、類選擇器(.)、id選擇器(#)、層級選擇器
            - 層級選擇器：經常使用
                div .dudu #lala .meme .xixi  下面好多級
                div > p > a > .lala          只能是下面一級
        【注意】select選擇器返回永遠是列表，須要經過下標提取指定的對象

　　使用bs4爬取詩詞名句中的三國演義小說中的每一章的內容

import requests
from bs4 import BeautifulSoup

url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'
}
#獲取標題正文頁數據
page_text = requests.get(url=url,headers=headers).text+

# 實例化 BeautifulSoup
# 將頁面源碼數據加載裏面 , 參數1=page_text , 參數2="lxml" 解析器
soup = BeautifulSoup(page_text,'lxml')
#標籤訂位,返回的是一個列表,是標題
a_list = soup.select('.book-mulu > ul > li > a')
#由於內容是要循環的,全部文件打開一次就能夠
fp = open('sanguo.txt','w',encoding='utf-8')
for a in a_list:
   # 獲取a標籤的直系標籤的文本內容
    title = a.string
    #補全標題內容的地址
    detail_url = 'http://www.shicimingju.com'+a['href']
    #進入標題的url纔是標題對應的內容
    detail_page_text = requests.get(url=detail_url,headers=headers).text
    
    soup = BeautifulSoup(detail_page_text,'lxml')
    content = soup.find('div',class_='chapter_content').text
    
    fp.write(title+'\n'+content)
    print(title,'下載完畢')
print('over')
fp.close()

import requests
from bs4 import BeautifulSoup

# 獲取頁面源文件
url = "https://www.23us.so/files/article/html/0/43/index.html"

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
}

page_text = requests.get(url=url,headers=headers)
#防止中文文字出現亂碼
page_text.encoding = "utf8"

page_text = page_text.text
# 實例化 BeautifulSoup
# 將頁面源碼數據加載裏面 , 參數1=page_text , 參數2="lxml" 解析器
soup = BeautifulSoup(page_text,"lxml")

# 標籤訂位,HTML的標籤
# 先解析源碼中標題所對的a標籤  層級 .表明id
# 返回一個列表
a_list = soup.select(".L > a")

f1 = open('三寸人間2.text','w',encoding="utf8")

# 遍歷列表,獲取a標籤的本文和 href 值
# 獲取章節目錄
# a表示<a href="/10/10489/4535761.html">第一章 我要減肥！</a>
# a.string 獲取標籤直系的文本內容,返回字符串

for a in a_list:
    title = a.string
    #補全域名 http://www.xbiquge.la + deatil_url  
    detatil_url = a["href"]
   # 獲取詳情頁的源碼數據
    detail_page_text = requests.get(url=detatil_url,headers=headers).content
    print('3333333333',detail_page_text)
    
    soup = BeautifulSoup(detail_page_text,"lxml")
   # 獲取文本內容 ,div 
    content = soup.find('dd',id='contents').text
    # 持久化存儲
    f1.write(title+'\n'+content)
    print(title,"下載ok")
    
print("ok")
f1.close()

實現筆趣閣的小說--三寸人間

四 . 圖片的懶加載

　　示例網站 : http://sc.chinaz.com/tupian/hunsha.html

　　就是在打開網站以後圖片並非所有加載出來,而是在你的鼠標向下滑動的時候在加載(滑動一點加載一點)

import requests
from lxml import etree
import os
import urllib

if not os.path.exists('./tupian'):
    os.mkdir('./tupian')

url = 'http://sc.chinaz.com/tupian/'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
}

response = requests.get(url=url, headers=headers)
response.encoding = 'utf8'
res = response.text
tree = etree.HTML(res)
url_list = tree.xpath('//div[@id="container"]/div/div/a/img/@src2')         
 # img標籤有僞屬性src2，當圖片滾動到視野內時變爲 src

for url in url_list:
    filepath = './tupian/' + url.rsplit('/',1)[-1]
    urllib.request.urlretrieve(url, filepath)
    print(filepath, '下載完成！')
    
print('over')

五 . 代理ip

什麼是代理
- 代理就是第三方代替本體處理相關事務。例如：生活中的代理：代購，中介，微商......
爬蟲中爲何須要使用代理
- 一些網站會有相應的反爬蟲措施，例如不少網站會檢測某一段時間某個IP的訪問次數，若是訪問頻率太快以致於看起來不像正常訪客，它可能就會會禁止這個IP的訪問。因此咱們須要設置一些代理IP，每隔一段時間換一個代理IP，就算IP被禁止，依然能夠換個IP繼續爬取。
代理的分類：
- 正向代理：代理客戶端獲取數據。正向代理是爲了保護客戶端防止被追究責任。
- 反向代理：代理服務器提供數據。反向代理是爲了保護服務器或負責負載均衡。
免費代理ip提供網站
- http://www.goubanjia.com/
- 西祠代理
- 快代理

代理ip的匿名度分爲三個等級:

　　　　高匿：服務器不知道你使用了代理，並沒有法獲取你的真實IP;

　　　　普匿：服務器能知道你使用了代理，可是沒法獲取你的真實IP地址;

　　　　透明：服務器能知道你使用了代理，並能獲取你的真實IP地址。

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import requests
import random
if __name__ == "__main__":
    #不一樣瀏覽器的UA
    header_list = [
        # 遨遊
        {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},
        # 火狐
        {"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},
        # 谷歌
        {
            "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}
    ]
    #不一樣的代理IP
    proxy_list = [
        {"http": "112.115.57.20:3128"},
        {'http': '121.41.171.223:3128'}
    ]
    #隨機獲取UA和代理IP
    header = random.choice(header_list)
    proxy = random.choice(proxy_list)

    url = 'http://www.baidu.com/s?ie=UTF-8&wd=ip'
    #參數3：設置代理
    response = requests.get(url=url,headers=header,proxies=proxy)
    response.encoding = 'utf-8'
    
    with open('daili.html', 'wb') as fp:
        fp.write(response.content)
    #切換成原來的IP
    requests.get(url, proxies={"http": ""})