談談對Python爬蟲的理解

時間 2019-12-07

原文原文鏈接

爬蟲也能夠稱爲Python爬蟲

不知從什麼時候起，Python這門語言和爬蟲就像一對戀人，兩者如膠似漆，如影隨行，你中有我、我中有你，一提起爬蟲，就會想到Python，一提及Python，就會想到人工智能……和爬蟲css

因此，通常說爬蟲的時候，大部分程序員潛意識裏都會聯想爲Python爬蟲，爲何會這樣，我以爲有兩個緣由：html

Python生態極其豐富，諸如Request、Beautiful Soup、Scrapy、PySpider等第三方庫實在強大
Python語法簡潔易上手，分分鐘就能寫出一個爬蟲（有人吐槽Python慢，可是爬蟲的瓶頸和語言關係不大）

任何一個學習Python的程序員，應該都或多或少地見過甚至研究過爬蟲，我當時寫Python的目的就很是純粹——爲了寫爬蟲。因此本文的目的很簡單，就是說說我我的對Python爬蟲的理解與實踐，做爲一名程序員，我以爲了解一下爬蟲的相關知識對你只有好處，因此讀完這篇文章後，若是能對你有幫助，那便再好不過前端

什麼是爬蟲

爬蟲是一個程序，這個程序的目的就是爲了抓取萬維網信息資源，好比你平常使用的谷歌等搜索引擎，搜索結果就全都依賴爬蟲來定時獲取python

看上述搜索結果，除了wiki相關介紹外，爬蟲有關的搜索結果全都帶上了Python，前人說Python爬蟲，如今看來果真誠不欺我～程序員

爬蟲的目標對象也很豐富，不管是文字、圖片、視頻，任何結構化非結構化的數據爬蟲均可以爬取，爬蟲通過發展，也衍生出了各類爬蟲類型：ajax

通用網絡爬蟲：爬取對象從一些種子 URL 擴充到整個 Web，搜索引擎乾的就是這些事
垂直網絡爬蟲：針對特定領域主題進行爬取，好比專門爬取小說目錄以及章節的垂直爬蟲
增量網絡爬蟲：對已經抓取的網頁進行實時更新
深層網絡爬蟲：爬取一些須要用戶提交關鍵詞才能得到的 Web 頁面

不想說這些大方向的概念，讓咱們以一個獲取網頁內容爲例，從爬蟲技術自己出發，來講說網頁爬蟲，步驟以下：數據庫

模擬請求網頁資源
從HTML提取目標元素
數據持久化

什麼是爬蟲，這就是爬蟲：編程

"""讓咱們根據上面說的步驟來完成一個簡單的爬蟲程序"""
import requests

from bs4 import BeautifulSoup

target_url = 'http://www.baidu.com/s?wd=爬蟲'

# 第一步 發起一個GET請求
res = requests.get(target_url)

# 第二步 提取HTML並解析想獲取的數據 好比獲取 title
soup = BeautifulSoup(res.text, "lxml")
# 輸出 soup.title.text
title = soup.title.text

# 第三步 持久化 好比保存到本地
with open('title.txt', 'w') as fp:
    fp.write(title)

加上註釋不到20行代碼，你就完成了一個爬蟲，簡單吧網頁爬蟲

怎麼寫爬蟲

網頁世界多姿多彩、億萬網頁資源供你選擇，面對不一樣的頁面，怎麼使本身編寫的爬蟲程序夠穩健、持久，這是一個值得討論的問題後端

俗話說，磨刀不誤砍柴工，在開始編寫爬蟲以前，頗有必要掌握一些基本知識：

網頁的結構是HTML，爬蟲的目標就是解析HTML，獲取目標字段並保存
客戶端展示的網頁由瀏覽器渲染，客戶端和服務端的信息交互依靠HTTP協議

這兩句描述體現了一名爬蟲開發人員須要掌握的基本知識，不過一名基本的後端或者前端工程師都會這些哈哈，這也說明了爬蟲的入門難度極低，從這兩句話，你能思考出哪些爬蟲必備的知識點呢？

基本的HTML知識，瞭解HTML才方便目標信息提取
基本的JS知識，JS能夠異步加載HTML
瞭解CSS Selector、XPath以及正則，目的是爲了提取數據
瞭解HTTP協議，爲後面的反爬蟲鬥爭打下基礎
瞭解基本的數據庫操做，爲了數據持久化

有了這些知識儲備，接下來就能夠選擇一門語言，開始編寫本身的爬蟲程序了，仍是按照上一節說的三個步驟，而後以Python爲例，說一說要在編程語言方面作那些準備：

網頁請求：內置有urllib庫，第三方庫的話，同步請求可使用requests，異步請求使用aiohttp
分析HTML結構並提取目標元素：CSS Selector和XPath是目前主流的提取方式，第三方庫可使用Beautiful Soup或者PyQuery
數據持久化：目標數據提取以後，能夠將數據保存到數據庫中進行持久化，MySQL、MongoDB等，這些都有對應的庫支持，固然你也能夠保存在硬盤，誰硬盤沒點東西對吧（滑稽臉）

掌握了上面這些，你大可放開手腳大幹一場，萬維網就是你的名利場，去吧～

我以爲對於一個目標網站的網頁，能夠分下面四個類型：

單頁面單目標
單頁面多目標
多頁面單目標
多頁面多目標

具體是什麼意思呢，可能看起來有點繞，但明白這些，你以後寫爬蟲，只要在腦子裏面過一遍着網頁對應什麼類型，而後套上對應類型的程序（寫多了都應該有一套本身的經常使用代碼庫），那寫爬蟲的速度，天然不會慢

單頁面單目標

通俗來講，就是在這個網頁裏面，咱們的目標就只有一個，假設咱們的需求是抓取這部電影-肖申克的救贖的名稱，首先打開網頁右鍵審查元素，找到電影名稱對應的元素位置，以下圖所示：

在某個單一頁面內，看目標是否是隻有一個，一眼就能看出標題的CSS Selector規則爲：#content > h1 > span:nth-child(1)，而後用我本身寫的經常使用庫，我用不到十行代碼就能寫完抓取這個頁面電影名稱的爬蟲：

import asyncio

from ruia import Item, TextField

class DoubanItem(Item):
    title = TextField(css_select='#content > h1 > span:nth-child(1)')

async_func = DoubanItem.get_item(url="https://movie.douban.com/subject/1292052/")
item = asyncio.get_event_loop().run_until_complete(async_func)
print(item.title)

多頁面多目標就是此狀況下多個url的衍生狀況

單頁面多目標

假設如今的需求是抓取豆瓣電影250 第一頁中的全部電影名稱，你須要提取25個電影名稱，由於這個目標頁的目標數據是多個item的，所以目標須要循環獲取，這就是所謂的單頁面多目標了：

import asyncio

from ruia import Item, TextField

class DoubanItem(Item):
    target_item = TextField(css_select='div.item')
    title = TextField(css_select='span.title')

    async def clean_title(self, title):
        if isinstance(title, str):
            return title
        else:
            return ''.join([i.text.strip().replace('\xa0', '') for i in title])


async_func = DoubanItem.get_items(url="https://movie.douban.com/top250")
items = asyncio.get_event_loop().run_until_complete(async_func)
for item in items:
    print(item)

多頁面多目標

多頁面多目標是上述單頁面多目標狀況的衍生，在這個問題上來看，此時就是獲取全部分頁的電影名稱

from ruia import TextField, Item, Request, Spider


class DoubanItem(Item):
    """
    定義爬蟲的目標字段
    """
    target_item = TextField(css_select='div.item')
    title = TextField(css_select='span.title')

    async def clean_title(self, title):
        if isinstance(title, str):
            return title
        else:
            return ''.join([i.text.strip().replace('\xa0', '') for i in title])


class DoubanSpider(Spider):
    start_urls = ['https://movie.douban.com/top250']
    concurrency = 10

    async def parse(self, res):
        etree = res.html_etree
        pages = ['?start=0&filter='] + [i.get('href') for i in etree.cssselect('.paginator>a')]

        for index, page in enumerate(pages):
            url = self.start_urls[0] + page
            yield Request(
                url,
                callback=self.parse_item,
                metadata={'index': index},
                request_config=self.request_config
            )

    async def parse_item(self, res):
        items_data = await DoubanItem.get_items(html=res.html)
        res_list = []
        for item in items_data:
            res_list.append(item.title)
        return res_list


if __name__ == '__main__':
    DoubanSpider.start()

若是網絡沒問題的話，會獲得以下輸出：

注意爬蟲運行時間，1s不到，這就是異步的魅力

用Python寫爬蟲，就是這麼簡單優雅，諸位，看着網頁就思考下：