scrapy學習之路3(爬取的數據保存本地文件或MYSQL)

保存item中的信息到本地文件

1.自定義以json格式保存到本地文件

piplines.py

再到settings.py中添加使用

2.scrapy自帶方式以json格式保存到本地文件

piplines.py

再到settings.py中添加使用

保存item中的信息到MySQL(同步)

設計表結構

注意:日期是str類型，要轉化成date類型

piplines.py

補充：settings.py

---

保存item中的信息到MySQL(異步twisted)

settings.py

MYSQL_HOST = '127.0.0.1'
MYSQL_DBNAME = 'spider'
MYSQL_USER = 'root'
MYSQL_PASSWORD = '123456'

piplines.py

去重寫法

def do_insert(self, cursor, item):
        my_sql = """
            insert into youwu(url, url_object_id, title, big_image_url) VALUES (%s, %s, %s, %s) on duplicate key update title=values(title), big_image_url=value(big_image_url)
        """
        cursor.execute(my_sql, (item['url'], item['url_object_id'], item['title'], item['big_image_url']))