Python信息採集器使用輕量級關係型數據庫SQLite

1，引言

Python自帶一個輕量級的關係型數據庫SQLite。這一數據庫使用SQL語言。SQLite做爲後端數據庫，能夠搭配Python建網站，或者爲python網絡爬蟲存儲數據。SQLite還在其它領域有普遍的應用，好比HTML5和移動端。

Python標準庫中的sqlite3提供該數據庫的接口。

2，Python對SQLite進行操做示例

如下的代碼將建立一個簡單的關係型數據庫，爲一個書店存儲書的分類和價格。數據庫中包含兩個表：category用於記錄分類，book用於記錄某本書的信息。一本書歸屬於某一個分類，所以book有一個外鍵(foreign key)，指向catogory表的主鍵id。

2.1 建立數據庫

首先，建立數據庫，以及數據庫中的表。在使用connect()鏈接數據庫後，就能夠經過定位指針cursor，來執行SQL命令：

import sqlite3

# test.db is a file in the working directory.
conn = sqlite3.connect("test.db")

c = conn.cursor()

# create tables
c.execute('''CREATE TABLE category
      (id int primary key, sort int, name text)''')
c.execute('''CREATE TABLE book
      (id int primary key,
       sort int,
       name text,
       price real,
       category int,
       FOREIGN KEY (category) REFERENCES category(id))''')

# save the changes
conn.commit()

# close the connection with the database
conn.close()

SQLite的數據庫是一個磁盤上的文件，如上面的test.db，所以整個數據庫能夠方便的移動或複製。test.db一開始不存在，因此SQLite將自動建立一個新文件。

利用execute()命令，執行了兩個SQL命令，建立數據庫中的兩個表。建立完成後，保存並斷開數據庫鏈接。

2.2 插入數據

上面建立了數據庫和表，確立了數據庫的抽象結構。下面將在同一數據庫中插入數據：

import sqlite3

conn = sqlite3.connect("test.db")
c  = conn.cursor()

books = [(1, 1, 'Cook Recipe', 3.12, 1),
            (2, 3, 'Python Intro', 17.5, 2),
            (3, 2, 'OS Intro', 13.6, 2),
           ]

# execute "INSERT"
c.execute("INSERT INTO category VALUES (1, 1, 'kitchen')")

# using the placeholder
c.execute("INSERT INTO category VALUES (?, ?, ?)", [(2, 2, 'computer')])

# execute multiple commands
c.executemany('INSERT INTO book VALUES (?, ?, ?, ?, ?)', books)

conn.commit()
conn.close()

插入數據一樣可使用execute()來執行完整的SQL語句。SQL語句中的參數，使用"?"做爲替代符號，並在後面的參數中給出具體值。這裏不能用Python的格式化字符串，如"%s"，由於這一用法容易受到SQL注入攻擊。

也能夠用executemany()的方法來執行屢次插入，增長多個記錄。每一個記錄是表中的一個元素，如上面的books表中的元素。

2.3 查詢

在執行查詢語句後，Python將返回一個循環器，包含有查詢得到的多個記錄。循環讀取，也可使用sqlite3提供的fetchone()和fetchall()方法讀取記錄：

import sqlite3

conn = sqlite3.connect('test.db')
c = conn.cursor()

# retrieve one record
c.execute('SELECT name FROM category ORDER BY sort')
print(c.fetchone())
print(c.fetchone())

# retrieve all records as a list
c.execute('SELECT * FROM book WHERE book.category=1')
print(c.fetchall())

# iterate through the records
for row in c.execute('SELECT name, price FROM book ORDER BY sort'):
    print(row)

2.4 更新與刪除

能夠更新某個記錄，或者刪除記錄：

conn = sqlite3.connect("test.db")
c = conn.cursor()

c.execute('UPDATE book SET price=? WHERE id=?',(1000, 1))
c.execute('DELETE FROM book WHERE id=2')

conn.commit()
conn.close()

也能夠直接刪除整張表：

c.execute('DROP TABLE book')

若是刪除test.db，那麼整個數據庫會被刪除。

3，總結

sqlite3是一個SQLite的接口。想要熟練的使用SQLite數據庫，須要學習關係型數據庫的知識。在一些場景下，Python網絡爬蟲可使用SQLite存儲採集到的網頁信息。GooSeeker爬蟲DS打數機將在7.x版本支持SQLite，不妨想一想一下Python網絡爬蟲與DS打數機鏈接在一塊兒會怎樣。

4，文檔修改歷史

2016-07-07：V1.0，首次發佈