對大型網站圖片進行爬蟲

時間 2019-12-19

原文原文鏈接

目錄css

1. 前言

對於一張網頁，咱們每每但願它是結構良好，內容清晰的，這樣搜索引擎才能準確地認知它。
而反過來，又有一些情景，咱們不但願內容能被輕易獲取，比方說電商網站的交易額，教育網站的題目等。由於這些內容，每每是一個產品的生命線，必須作到有效地保護。這就是爬蟲與反爬蟲這一話題的由來。
對於圖片進行爬蟲總體操做過程可分爲三個步驟：html

獲取頁面信息
讀取圖片連接
將圖片保存在本地指定目錄下前端

2. 常見反爬蟲策略

可是世界上沒有一個網站，能作到完美地反爬蟲。python

若是頁面但願能在用戶面前正常展現，同時又不給爬蟲機會，就必需要作到識別真人與機器人。所以工程師們作了各類嘗試，這些策略大多采用於後端，也是目前比較常規單有效的手段，好比：web

User-Agent + Referer檢測
帳號及Cookie驗證
驗證碼
IP限制頻次

而爬蟲是能夠無限逼近於真人的，好比：chrome

chrome headless或phantomjs來模擬瀏覽器環境
tesseract識別驗證碼
代理IP淘寶就能買到

因此咱們說，100%的反爬蟲策略？不存在的。
更多的是體力活，是個難易程度的問題。後端

不過做爲前端工程師，咱們能夠增長一下游戲難度，設計出一些很(sang)有(xin)意(bing)思(kuang)的反爬蟲策略。api

3. 前端與反爬蟲

3.1 FONT-FACE拼湊式

例子：貓眼電影瀏覽器

貓眼電影裏，對於票房數據，展現的並非純粹的數字。
頁面使用了font-face定義了字符集，並經過unicode去映射展現。也就是說，除去圖像識別，必須同時爬取字符集，才能識別出數字。微信

而且，每次刷新頁面，字符集的url都是有變化的，無疑更大難度地增長了爬取成本。

3.2 BACKGROUND拼湊式

例子：美團

與font的策略相似，美團裏用到的是background拼湊。數字實際上是圖片，根據不一樣的background偏移，顯示出不一樣的字符。

而且不一樣頁面，圖片的字符排序也是有區別的。不過理論上只需生成0-9與小數點，爲什麼有重複字符就不是很懂。

3.3 字符穿插式

例子：微信公衆號文章

某些微信公衆號的文章裏，穿插了各類迷之字符，而且經過樣式把這些字符隱藏掉。
這種方式雖然使人震驚…但其實沒有太大的識別與過濾難度，甚至能夠作得更好，不過也算是一種腦洞吧。

3.4 僞元素隱藏式

例子：汽車之家

汽車之家裏，把關鍵的廠商信息，作到了僞元素的content裏。
這也是一種思路：爬取網頁，必須得解析css，須要拿到僞元素的content，這就提高了爬蟲的難度。

3.5 元素定位覆蓋式

例子：去哪兒

還有熱愛數學的去哪兒，對於一個4位數字的機票價格，先用四個i標籤渲染，再用兩個b標籤去絕對定位偏移量，覆蓋故意展現錯誤的i標籤，最後在視覺上造成正確的價格…

這說明爬蟲會解析css還不行，還得會作數學題。

3.6 IFRAME異步加載式

例子：網易雲音樂

網易雲音樂頁面一打開，html源碼裏幾乎只有一個iframe，而且它的src是空白的：about:blank。接着js開始運行，把整個頁面的框架異步塞到了iframe裏面….

不過這個方式帶來的難度並不大，只是在異步與iframe處理上繞了個彎（或者有其餘緣由，不徹底是基於反爬蟲考慮），不管你是用selenium仍是phantom，都有API能夠拿到iframe裏面的content信息。

3.7 字符分割式

例子：全網代理IP

在一些展現代理IP信息的頁面，對於IP的保護也是大費周折。

他們會先把IP的數字與符號分割成dom節點，再在中間插入迷惑人的數字，若是爬蟲不知道這個策略，還會覺得本身成功拿到了數值；不過若是爬蟲注意到，就很好解決了。

3.8 字符集替換式

例子：去哪兒移動側

一樣會欺騙爬蟲的還有去哪兒的移動版。

html裏明明寫的3211，視覺上展現的倒是1233。原來他們從新定義了字符集，3與1的順序恰好調換得來的結果…

4.實例：對百度圖庫進行爬蟲

import re
import os
import time
import requests
# from selenium import webdriver

#########################
###此段代碼不須要關心啥意思###
#########################

if not os.path.exists('百度圖片'):
    os.mkdir('百度圖片')

#####################
###限制30張圖片的代碼###
####################


# 獲取全部圖片
response = requests.get(
    'http://image.baidu.com/search/index?ct=201326592&cl=2&st=-1&lm=-1&nc=1&ie=utf-8&tn=baiduimage&ipn=r&rps=1&pv=&fm=rs7&word=風景')
data = response.text
img_desc_dics = re.findall("app.setData(\('imgData.*?\));", data, re.S)[0]
img_desc_dics = eval(str(img_desc_dics))

# 獲取全部圖片的數據
img_datas = img_desc_dics[1]['data']
count = 0
for img_data in img_datas:
    # 獲取搜索圖片的參數
    os_ = img_data.get('os')
    cs_ = img_data.get('cs')

    if os_ and cs_:
        # 獲取搜索圖片的信息
        img_search_url = f'http://image.baidu.com/search/detail?ct=503316480&z=0&ipn=d&word=%E9%A3%8E%E6%99%AF&step_word=&hs=0&pn=1&spn=0&di=195030&pi=0&rn=1&tn=baiduimagedetail&is=0%2C0&istype=0&ie=utf-8&oe=utf-8&in=&cl=2&lm=-1&st=-1&cs={cs_}&os={os_}'
        img_search_response = requests.get(img_search_url)
        img_search_data = img_search_response.text

        # 獲取圖片信息
        img_url = re.findall('''\('firstSc'\);" src="(.*?)"''', img_search_data)[0]
        img_name = img_url.split('/')[-1]
        img_name = os.path.join('百度圖片', img_name)  # 拼接出圖片的地址，如 百度圖片/3822951_144045377000_2.jpg

        # 保存圖片
        img_response = requests.get(img_url)
        img_data = img_response.content
        fw = open(img_name, 'wb')
        fw.write(img_data)
        fw.flush()

        # 提示
        count += 1
        print(f'{img_name}保存成功，成功保存{count}張')

        # 防止百度禁ip，慢一點
        time.sleep(0.01)

#########################################################################
###自行百度selenium的用法，使用這一套代碼能夠無限爬取全部圖片，不然將被限制30張###

## 記得加庫哦
########################################################################

page_count_end = 2  # 爬取 指定數字（10）* 30 = 300張圖片
chrome = webdriver.Chrome()

## 安裝谷歌插件
##http://chromedriver.storage.googleapis.com/index.html?tdsourcetag=s_pcqq_aiomsg
## 查看你電腦的谷歌版本，尋找對應版本進行下載解壓



try:

    chrome.implicitly_wait(10)
    chrome.get(
        'http://image.baidu.com/search/index?ct=201326592&cl=2&st=-1&lm=-1&nc=1&ie=utf-8&tn=baiduimage&ipn=r&rps=1&pv=&fm=rs7&word=風景')

    js_code = '''
    window.scrollTo(0, document.body.scrollHeight);
    var lenOfPage = document.body.scrollHeight;
    return lenOfPage
    '''

    # selenium控制爬取頁數
    count = 0
    page_count = 0
    while page_count < page_count_end:
        try:
            page_count += 1
            chrome.execute_script(js_code)
            time.sleep(0.3)
        except:
            continue

    img_desc_search_urls = re.findall('href="(/search/detail\?.*?)"', chrome.page_source, re.S)  # re.S使.能夠匹配換行符

    # 獲取全部圖片的數據
    for img_data in img_desc_search_urls:
        try:
            # 獲取搜索圖片的參數
            os_ = re.findall('os=(.*?)&amp;', img_data)[0]
            cs_ = re.findall('cs=(.*?)&amp;', img_data)[0]

            if os_ and cs_:
                # 獲取搜索圖片的信息
                img_search_url = f'http://image.baidu.com/search/detail?ct=503316480&z=0&ipn=d&word=%E9%A3%8E%E6%99%AF&step_word=&hs=0&pn=1&spn=0&di=195030&pi=0&rn=1&tn=baiduimagedetail&is=0%2C0&istype=0&ie=utf-8&oe=utf-8&in=&cl=2&lm=-1&st=-1&cs={cs_}&os={os_}'
                img_search_response = requests.get(img_search_url)
                img_search_data = img_search_response.text

                # 獲取圖片信息
                img_url = re.findall('''\('firstSc'\);" src="(.*?)"''', img_search_data)[0]
                img_name = img_url.split('/')[-1]
                img_name = os.path.join('百度圖片', img_name)  # 拼接出圖片的地址，如 百度圖片/3822951_144045377000_2.jpg

                # 保存圖片
                img_response = requests.get(img_url)
                img_data = img_response.content
                fw = open(img_name, 'wb')
                fw.write(img_data)
                fw.flush()

                # 提示
                count += 1
                print(f'{img_name}保存成功，成功保存{count}張')

                # 防止百度禁ip，慢一點
                time.sleep(0.01)
        except:
            continue

except Exception:
    pass

finally:
    chrome.close()

結果

因爲百度的反扒措施不斷更新，若是想要在一段時間以後進行爬蟲，須要重新尋找規律