python爬蟲25 | 爬取下來的數據怎麼保存？ CSV 瞭解一下

時間 2019-11-16

標籤 python 爬蟲取下來的數據怎麼保存 csv 瞭解一下欄目 Python 简体版

原文原文鏈接

你們好php

我是小帥bhtml

是一個練習時長兩年半的練習生python

喜歡ios

唱！nginx

跳！web

rap！redis

籃球！sql

敲代碼！shell

裝逼！數據庫

很差意思

我又走錯片場了

接下來的幾篇文章

小帥b將告訴你

如何將你爬取到的數據保存下來

有文本文件、redis、數據庫（MySQL、MangoDB）等的存儲方式

今天先說說

CSV

什麼是 CSV？

怎麼玩？

牛逼麼？

那麼接下來就是

學習 python 的正確姿式

CSV 是一個文本文件來的

有點像 excel

也就是它是以必定的表格的格式來展現數據的

咱們一般會使用逗號（,）來對每個單元數據進行分割

分隔符不止是逗號

也能夠是製表符（tab）、冒號（:）、分號（；）

好比咱們要來表示一個表格中的數據

就能夠這樣

第1列的名稱,第2列的名稱,第3列的名稱第1行第1格的數據,第1行第2格的數據,第1行第3格的數據第2行第1格的數據,第2行第2格的數據,第2行第3格的數據...

這就是 CSV 的格式

有啥好處呢

說 3 點足以

它支持存儲比較大量的數據

咱們能夠很是方便地利用它進行數據的導入或者導出到電子表格或者數據庫

全部支持文本文件的輸入輸出的編程語言（好比咱們的 python），均可以直接操做使用 CSV 文件。

恩

瞭解什麼是 CSV 以後

接下來小帥b會告訴你怎麼使用 python 去存儲數據到 CSV 文件中

代碼走起

咱們導入 CSV 這個庫

經過 csv.DictWriter 獲取 writer 對象

而後就能夠寫入了

具體看下代碼

   
   
   
   import csv
with open('xiaoshuaib.csv', mode='w') as csv_file: fieldnames = ['你是誰', '你幾歲', '你多高'] writer = csv.DictWriter(csv_file, fieldnames=fieldnames)
 writer.writeheader() writer.writerow({'你是誰': '小帥b', '你幾歲': '18歲', '你多高': '18cm'}) writer.writerow({'你是誰': '小帥c', '你幾歲': '19歲', '你多高': '17cm'}) writer.writerow({'你是誰': '小帥d', '你幾歲': '20歲', '你多高': '16cm'})

咱們這裏以字典的方式寫入數據到 xiaoshuaib.csv 這個文件中

運行以後

能夠看到多了一個文件

打開看看

能夠看到

咱們的數據就被寫進來了

說：是高仍是長？

再給你們介紹一個庫

pandas

它能夠更加方便的操做 CSV 文件

咱們先安裝一下 pandas

pip install pandas

安裝完以後

咱們用 pandas 來讀取一下咱們剛存儲的 xiaoshuaib.cvs 文件

import pandasxiaoshuaib = pandas.read_csv('xiaoshuaib.csv')print(xiaoshuaib)

打印結果是這樣的

是否是又方便又好看呢

用 pandas 來存儲 CSV 數據也是很簡單的

一個方法就搞定

to_csv

import pandas as pd
b = ['小帥b', '小帥c', '小帥d']c = ['18歲', '19歲', '20歲']d = ['18cm', '17cm', '16cm']
df = pd.DataFrame({'你是誰' : b, '你幾歲' : c, '你多高' : d})df.to_csv("xsb.csv", index=False, sep=',')

運行一下

以上就是對 CSV 的主要操做

當你把數據爬取下來的時候

可使用這招試試把數據存儲下來

好了

那麼咱們下篇再見

peace