Django+Scrapy結合使用並爬取數據入庫

 

1. 建立django項目，並編寫models.py,啓動django項目

 

2. 配置Django嵌入
　　Django項目根目錄下建立Scrapy項目（這是scrapy-djangoitem所須要的配置）
　　配置Django嵌入，在Scrapy的settings.py中加入如下代碼：

import os
import sys
sys.path.append(os.path.dirname(os.path.abspath('.')))
os.environ['DJANGO_SETTINGS_MODULE'] = '子app.settings'
# 手動初始化Django：
import django
django.setup()

 

3.編寫爬蟲

 

4.item.py中引入Django模型類

import scrapy
    
from scrapy_djangoitem import DjangoItem
from 子app import models
class TalksItem(DjangoItem):
    django_model = models.表名

 

5.pipelines.py中調用save()

class TalksPipeline(object):
    def process_item(self, item, spider):
        print('打開數據庫')
        item.save() # 數據將會自動添加到指定的表
        print('關閉數據庫')
        return item

 

6.啓動爬蟲：scrapy crawl 爬蟲名

 

7.刷新admin後臺，此時數據已經入庫了！

 

開不開心！