（爬蟲）書籍和電影，程序員不可或缺

週五， 因爲同事給了一個下載書籍的網站。因此心血來潮，想寫一個爬蟲demo，把數據都爬下來。而後發現一個電影網站也是相似，因而乎。代碼重用。

爬蟲步驟

1. 分析目標網頁的特徵
2. 找到須要爬取的數據
3. 多頁面數據的跳轉
4. 數據存儲

1. 分析目標網頁的特徵

我今天要爬取的頁面數據就是 周讀, http://www.ireadweek.com/, 頁面結構很簡答，先是使用requests + bs4配合爬取。發現頁面沒有使用js，也沒有作反爬蟲的機制，因此很簡單。

這個網站就兩層結構， 主頁->點擊每一個書籍->進入到書籍的詳情頁。我須要的數據也就是在詳情頁。以下圖：

2. 找到須要爬取的數據

上圖中標記的都是須要爬取的數據 使用bs4格式化數據，發現數據很容易得到，每一個數據都很簡單。頁面標籤修飾都沒有，像class,id都沒有，像是一個只會html的外行寫的。我一個後端，也能笑話別人的頁面^_^. 數據抽取的代碼以下：

html_doc = response.body
        soup = BeautifulSoup(html_doc, 'html.parser')

        img_url = urljoin(CDN, soup.find('img').attrs.get('src').replace('//','/'))
        download_url = soup.find('a', class_='downloads').attrs.get('href')
        title = soup.find_all('div', class_='hanghang-za-title')
        name = title[0].text

        content = soup.find_all('div', class_='hanghang-za-content')
        author_info = content[0].text
        directory = '\n'.join([i.text.replace("\u3000", '') for i in content[1].find_all('p')])

        info = soup.find('div', class_='hanghang-shu-content-font').find_all('p')

        author = info[0].text.split('做者：')[1]
        category = info[1].text.split('分類：')[1]
        score = info[2].text.split('豆瓣評分：')[1]
        introduction = info[4].text
複製代碼

3.多頁面數據的跳轉

這個主要是處理頁面之間的跳轉。就是使用下面的頁碼進行頁面的跳轉，我使用下一頁。

而後再抓取，繼續迭代就能夠了。

next_url = urljoin(DOMAIN, soup.find_all('a')[-2].attrs.get('href'))
        yield scrapy.Request(next_url, callback=self.parse)
複製代碼

因爲沒有使用具體的id，class，只能使用位置索引。

4.數據存儲

數據存儲，之前都是寫到excel中或redis中，今天想寫到mysql中，寫到mysql能夠使用pymysql或mysqlDB。 我選擇使用ORM。 能夠是SQLALCHEMY, Django Model. 我選擇的是django model.

# django中
from django.db import models


# Create your models here.
class Book(models.Model):
    id = models.IntegerField(primary_key=True)
    name = models.CharField(max_length=255)
    author = models.CharField(max_length=255)
    category = models.CharField(max_length=255)
    score = models.CharField(max_length=100)
    img_url = models.URLField()
    download_url = models.URLField()
    introduction = models.CharField(max_length=2048)
    author_info = models.CharField(max_length=2048)
    directory = models.CharField(max_length=4096)
    create_edit = models.DateTimeField(auto_now_add=True)

    class Meta:
        managed = False
        db_table = "ireadweek"

# scrapy settings.py配置
import os
import sys
import django

sys.path.append(os.path.join(os.path.dirname(os.path.dirname(os.path.abspath(__file__))), ".."))
os.environ['DJANGO_SETTINGS_MODULE'] = 'Rino_nakasone_backend.settings'

django.setup()


# 在 scrapy中pipelines.py
from ireadweek.models import Book
import datetime


class RinonakasonePipeline(object):
    def process_item(self, item, spider):
        book = Book()
        book.name = item.get('name')
        book.author = item.get('author')
        book.category = item.get('category')
        book.score = item.get('score')
        book.image_url = item.get('image_url')
        book.download_url = item.get('download_url')
        book.introduction = item.get('introduction')
        book.author_info = item.get('author_info')
        book.directory = item.get('directory')
        book.create_edit = datetime.datetime.now()
        book.save()
        return item

# 在spider中引用

    def parse_news(self, response):
        item = IreadweekItem()
        html_doc = response.body
        soup = BeautifulSoup(html_doc, 'html.parser')

        img_url = urljoin(CDN, soup.find('img').attrs.get('src').replace('//','/'))
        download_url = soup.find('a', class_='downloads').attrs.get('href')
        title = soup.find_all('div', class_='hanghang-za-title')
        name = title[0].text

        content = soup.find_all('div', class_='hanghang-za-content')
        author_info = content[0].text
        directory = '\n'.join([i.text.replace("\u3000", '') for i in content[1].find_all('p')])

        info = soup.find('div', class_='hanghang-shu-content-font').find_all('p')

        author = info[0].text.split('做者：')[1]
        category = info[1].text.split('分類：')[1]
        score = info[2].text.split('豆瓣評分：')[1]
        introduction = info[4].text

        item['name'] = name
        item['img_url'] = img_url
        item['download_url'] = download_url
        item['author'] = author
        item['author_info'] = author_info
        item['category'] = category
        item['score'] = score
        item['introduction'] = introduction
        item['directory'] = directory

        return item

# 還有一個配置 settings.py
ITEM_PIPELINES = {
   'RinoNakasone.pipelines.RinonakasonePipeline': 300,
}
複製代碼

技術要點

1. scrapy
2. django
3. beautifulsoup

以上都要會使用，我還寫了一個api接口。 http://127.0.0.1:8080/api/ireadweek/list/?p=400&n=20

另一個網站是：

我項目的地址： https://github.com/jacksonyoudi/Rino_nakasone_backend

代碼都在項目中。