小白學 Python 爬蟲（5）：前置準備（四）數據庫基礎

人生苦短，我用 Python

前文傳送門：

小白學 Python 爬蟲（1）：開篇

小白學 Python 爬蟲（2）：前置準備（一）基本類庫的安裝

小白學 Python 爬蟲（3）：前置準備（二）Linux基礎入門

小白學 Python 爬蟲（4）：前置準備（三）Docker基礎入門

本篇文章，咱們接着介紹基礎內容，數據庫。

爬蟲將數據爬取完成後，總要有地方存放吧，這個數據存在哪裏呢？

固然是數據庫中，那個說放在 Excel 裏的，你給我站住！

固然 Excel 也是可使用的，而且第三方也對 Excel 的操做提供了類庫支持，可是，SQL 庫仍是一個老碼農的堅持。

數據庫如今分爲關係型數據庫，非關係型數據庫和新型數據庫。

仍是換英文吧，說中文感受不大對，防止小編說錯，下面使用英文再介紹一遍。

• SQL(Structured Query Language)：數據庫，指關係型數據庫。主要表明： SQL Server 、 Oracle 、 MySQL 、 PostgreSQL 。
• NoSQL(Not Only SQL)：泛指非關係型數據庫。主要表明： MongoDB 、 Redis 、 CouchDB 。
• NewSQL：對各類新的可擴展/高性能數據庫的簡稱。主要表明： Clustrix 、 GenieDB 、 TiDB 。

本系列文章會用到的數據庫主要有 Mysql 和 Redis 。

下面，咱們開始愉快的裝起來。

Mysql 安裝

Mysql 在 Win 環境下，能夠找到 .exe 的安裝包，可是小編不建議你們這麼直接安裝，這時，前面咱們介紹的 Docker 就排上用場了，咱們介紹如何在 Docker 中安裝 Mysql 。

本文系統環境將使用 Linux ，固然，在 Windows 下經過 Docker 安裝過程和命令基本一致。

首先，是將 Mysql 的鏡像從鏡像倉庫中下載到本地：

docker pull mysql:5.7

靜靜的等待進度條走完，而後咱們使用命令查看下剛纔下載的鏡像：

docker images

若是能夠看到上圖這樣的顯示就說明下載成功了，剩下的只須要咱們來啓動這個 Mysql 的鏡像了。

docker run --name mysql --restart=always -p 3306:3306 -v /www/mysql/conf.d:/etc/mysql/conf.d -v /www/mysql/mysql.conf.d:/etc/mysql/mysql.conf.d -v /www/mysql/datadir:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -e TZ=Asia/Shanghai -d mysql:5.7

我來解釋一下這裏面的幾個參數的含義：

--name：這裏是命名啓動後容器名稱。
--restart：自動重啓，好比服務器忽然斷電，重啓服務器以後不須要從新手動啓動。
-p：指定端口號。
-v：掛載。容器中的配置包括數據是不能直接訪問的，可是能夠將這些內容掛在到咱們本身本機的目錄中，小編這裏的目錄使用的是 linux 的文件目錄，各位同窗若是要在 win 的電腦上操做記得修改。
-e：配置數據庫的 root 密碼和指定時區是亞洲的上海。
-d：做爲守護線程。

而後就結束了，咱們的 Mysql 就安裝完成了，能夠經過命令查看一下容器是否正常啓動。

docker ps

順利完成！是否是感受很簡單，咱們只須要三個命令就搭建了一個單機版的 Mysql 服務。並且在不一樣的系統中經過 Docker 安裝，命令近乎一致。

可是 Mysql 裝好了，咱們怎麼看裏面的數據呢？這個能夠安裝一個客戶端軟件，叫作 Navicat ，惋惜是收費的，並且還蠻貴的，那麼怎麼用就不用我多說了吧，本身悟。

界面仍是蠻清爽的，操做也十分簡單，畢竟有中文版，具體怎麼操做各位同窗本身點點看大體就知道了。

另外，建議各位同窗在 Linux 中安裝 Mysql 。

Redis 安裝

首先來介紹下 Redis 。

Redis 咱們通常是將其當成緩存來使用的，由於它的數據是存在內存中，因此它的讀寫速度要遠遠超出 MySQL，數據在內存中，意味着一旦斷電重啓後，將會丟失全部數據。

Redis 一樣提供將數據持久化到硬盤，可是開啓數據持久化到硬盤後，將會有效下降 Redis 的性能。

一樣，咱們在 Docker 中安裝 Redis 。

下載 Redis ：

docker pull redis

這裏先建立一個文件夾用來作 Redis 的掛載目錄，小編這裏建立的文件夾目錄爲 /www/redis/ ，用來存放redis的配置文件、數據等。

Redis 的啓動命令爲：

docker run -d -p 6379:6379 --restart=always -v /www/redis/conf/redis.conf:/usr/local/etc/redis/redis.conf -v /www/redis/data:/data --name docker-redis redis --appendonly yes

Redis 的配置文件這裏小編就不貼出來了，屬實太長了，上傳至代碼倉庫，有須要的同窗自取吧。

順便這個 Redis 緩存服務給你們作個共享，在公衆號回覆 redis 獲取緩存服務配置。

硬件負載較低，本共享僅作測試使用，但願各位同窗不要作壓測等高危操做。

Excel 安裝

目前 Office 也是更新至了 2019 版，具體怎麼裝我就很少講了，只講一個詞： Office Tool ，懂的天然懂，不懂的就去百度下，百度這個必然不會讓你失望的。

鏈接庫安裝

上面咱們講完了數據庫的安裝，若是咱們想使用 Python 鏈接到這些數據庫上，還須要一些第三方提供的類庫。

PyMySQL

在 Python 中，想要鏈接到 MySQL 進行操做，就須要安裝 PyMySQL 。

安裝命令以下：

pip install pymysql

redis-py

在 Python 中，想要鏈接到 Redis 進行操做，就須要安裝 redis-py 。

安裝命令以下：

pip install redis

本篇內容到這裏就結束，但願各位同窗能夠親自動手實踐一下，謝謝~~~。

示例代碼

示例代碼-Github

示例代碼-Gitee

若是個人文章對您有幫助，請掃碼關注下做者的公衆號：獲取最新干貨推送：）