使用 Python 爬取簡書網的全部文章

抓取目標

咱們要爬取的目標是「 簡書網 」。

打開簡書網的首頁，隨手點擊一篇文章進入到詳情頁面。

咱們要爬取的數據有：做者、頭像、發佈時間、文章 ID 以及文章內容。

準備工做

在編寫爬蟲程序以前，我都是先對頁面進行簡單分析，而後指定爬取思路。

因爲咱們爬取簡書網全部的文章數據，因此考慮使用「 CrawlSpider 」來對整個網站進行爬取。

首先使用 Scrapy 建立一個項目和一個爬蟲

# 打開 CMD 或者終端到一個指定目錄
# 新建一個項目
scrapy startproject jianshu_spider

cd jianshu_spider

# 建立一個爬蟲
scrapy genspider -t crawl jianshu "jianshu.com"
複製代碼

爬取的數據準備存儲到 Mysql 數據庫中，所以須要提早創建好數據庫和表。

爬取思路

首先，咱們咱們檢查首頁頁面文章列表每一項的 href 屬性、文章詳情頁面的地址、詳情頁面推薦文章中的 href 屬性。

能夠獲取出規律，每一篇文章的地址，即 URL 是由「.../p/文章id/... 」構成，其中文章 ID 是由小寫字母 a-z 或者 0-9 的 12 位數字構成，所以 Rule 構成以下：

/p/[0-9a-z]{12}
複製代碼

代碼實現

第一步是指定開始爬取的地址和爬取規則。

allowed_domains = ['jianshu.com']
    start_urls = ['https://www.jianshu.com/']
    rules = (
        # 文章id是有12位小寫字母或者數字0-9構成
        Rule(LinkExtractor(allow=r'.*/p/[0-9a-z]{12}.*'), callback='parse_detail', follow=True),
    )複製代碼

第二步是拿到下載器下載後的數據 Response，利用 Xpath 語法獲取有用的數據。這裏可使用「 Scrapy shell url 」去測試數據是否獲取正確。

# 獲取須要的數據
 title = response.xpath('//h1[@class="title"]/text()').get()
 author = response.xpath('//div[@class="info"]/span/a/text()').get()
 avatar = self.HTTPS + response.xpath('//div[@class="author"]/a/img/@src').get()
 pub_time = response.xpath('//span[@class="publish-time"]/text()').get().replace("*", "")
 current_url = response.url
 real_url = current_url.split(r"?")[0]
 article_id = real_url.split(r'/')[-1]
 content = response.xpath('//div[@class="show-content"]').get()複製代碼

而後構建 Item 模型用來保存數據。

import scrapy

# 文章詳情Item
class ArticleItem(scrapy.Item):
    title = scrapy.Field()
    content = scrapy.Field()
    # 文章id
    article_id = scrapy.Field()
    # 原始的url
    origin_url = scrapy.Field()

    # 做者
    author = scrapy.Field()

    # 頭像
    avatar = scrapy.Field()

    # 發佈時間
    pubtime = scrapy.Field()複製代碼

第三步是將獲取的數據經過 Pipline 保存到數據庫中。

# 數據庫鏈接屬性
db_params = {
            'host': '127.0.0.1',
            'port': 3306,
            'user': 'root',
            'password': 'root',
            'database': 'jianshu',
            'charset': 'utf8'
}

# 數據庫【鏈接對象】
self.conn = pymysql.connect(**db_params)
# 構建遊標對象
self.cursor = self.conn.cursor()

# sql 插入語句
self._sql = """ insert into article(id,title,content,author,avatar,pubtime,article_id,origin_url) values(null,%s,%s,%s,%s,%s,%s,%s) """

# 執行 sql 語句
self.cursor.execute(self._sql, (
            item['title'], item['content'], item['author'], item['avatar'], item['pubtime'], item['article_id'],
            item['origin_url']))

# 插入到數據庫中
self.conn.commit()

# 關閉遊標資源
self.cursor.close()

複製代碼

爬取結果

執行命令「 scrapy crawl jianshu」 運行爬蟲程序。

注意設置 settings.py 中延遲 DOWNLOAD_DELAY和管道ITEM_PIPELINES 保證數據能正常寫入到數據庫中。

最後查看數據庫，發現數據能正常寫入到表中。

我已將完整代碼上傳到後臺，有須要的同窗關注公衆號【AirPython】，後臺回覆「簡書」便可獲取。