SQLite3 of python

時間 2019-11-12

標籤 sqlite3 sqlite python 欄目 Sqlite 简体版

原文原文鏈接

SQLite3 of python

1、SQLite3 數據庫

　　SQLite3 可以使用 sqlite3 模塊與 Python 進行集成，通常 python 2.5 以上版本默認自帶了sqlite3模塊，所以不須要用戶另外下載。html

在學習基本語法以前先來了解一下數據庫是使用流程吧 ↓↓↓python

因此，首先要建立一個數據庫的鏈接對象，即connection對象，語法以下：sql

sqlite3.connect（database [，timeout，其餘可選參數]）數據庫

function: 此API打開與SQLite數據庫文件的鏈接。若是成功打開數據庫，則返回一個鏈接對象。編程

database: 數據庫文件的路徑，或「：memory：」，後者表示在RAM中建立臨時數據庫。app

timeout: 指定鏈接在引起異常以前等待鎖定消失的時間，默認爲5.0(秒)函數

有了connection對象，就能建立遊標對象了，即cursor對象，以下：oop

connection.cursor（[cursorClass]）學習

function: 建立一個遊標，返回遊標對象，該遊標將在Python的整個數據庫編程中使用。fetch

接下來，看看connection對象和 cursor對象的「技能」吧 ↓↓↓

**connection對象的方法**
方法	說明
connect.cursor()	上述，返回遊標對象
connect.execute(sql [,parameters])	建立中間遊標對象執行一個sql命令
connect.executemany(sql [,parameters])	建立中間遊標對象執行一個sql命令
connect.executescript(sql_script)	建立中間遊標對象, 以腳本的形式執行sql命令
connect.total_changes()	返回自打開數據庫以來，已增刪改的行的總數
connect.commit()	提交當前事務，不使用時爲放棄所作的修改，即不保存
connect.rollback()	回滾自上次調用commit()以來所作的修改，即撤銷
connect.close()	斷開數據庫鏈接

**cursor對象的方法**
方法	說明
cursor.execute(sql [,parameters])	執行一個sql命令
cursor.executemany(sql,seq_of_parameters)	對 seq_of_parameters 中的全部參數或映射執行一個sql命令
cursor.executescript(sql_script)	以腳本的形式一次執行多個sql命令
cursor.fetchone()	獲取查詢結果集中的下一行，返回一個單一的序列，當沒有更多可用的數據時，則返回 None。
cursor.fetchmany([size=cursor.arraysize])	獲取查詢結果集中的下一行組，返回一個列表。當沒有更多的可用的行時，則返回一個空的列表。size指定特定行數。
cursor.fetchall()	獲取查詢結果集中全部（剩餘）的行，返回一個列表。當沒有可用的行時，則返回一個空的列表。

下面用一個簡單實例做爲介紹 >>>

 1 def SQLite_Test():
 2     # =========== 鏈接數據庫 ============
 3     # 1. 鏈接本地數據庫
 4     connectA = sqlite3.connect("example.db")
 5     # 2. 鏈接內存數據庫，在內存中建立臨時數據庫
 6     connectB = sqlite3.connect(":memory:")
 7 
 8     # =========== 建立遊標對象 ============
 9     cursorA = connectA.cursor()
10     cursorB = connectB.cursor()
11 
12     # =========== 建立表 ============
13     cursorA.execute("CREATE TABLE class(id real, name text, age real, sex text)")
14     cursorB.execute("CREATE TABLE family(relation text, job text, age real)")
15 
16     # =========== 插入數據 ============
17     cursorA.execute("INSERT INTO class VALUES(1,'Jock',8,'M')")
18     cursorA.execute("INSERT INTO class VALUES(2,'Mike',10,'M')")
19     # 使用 ? 佔位符
20     cursorA.execute("INSERT INTO class VALUES(?,?,?,?)", (3,'Sarah',9,'F'))
21 
22     families = [
23         ['Dad', 'CEO', 35],
24         ['Mom', 'singer', 33],
25         ['Brother', 'student', 8]
26     ]
27     cursorB.executemany("INSERT INTO family VALUES(?,?,?)",families)
28 
29     # =========== 查找數據 ============
30     # 使用 命名變量 佔位符
31     cursorA.execute("SELECT * FROM class WHERE sex=:SEX", {"SEX":'M'})
32     print("TABLE class: >>>select Male\n", cursorA.fetchone())
33     cursorA.close()
34     
35     cursorB.execute("SELECT * FROM family ORDER BY relation")
36     print("TABLE family:\n", cursorB.fetchall())
37     cursorB.close()
38 
39     # =========== 斷開鏈接 ============
40     connectA.close()
41     connectB.close()
42 
43 SQLite_Test()

　　運行結果：

TABLE class: >>>select Male
(1.0, 'Jock', 8.0, 'M')
TABLE family:
[('Brother', 'student', 8.0), ('Dad', 'CEO', 35.0), ('Mom', 'singer', 33.0)]

2、小練手

使用目前學的sqlite3數據庫知識，對一些數據進行增刪查改的操做。此處選擇來自下面網站的數據

url = http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html

先將數據從網站上爬取下來，存儲爲csv文件，而後再保存到數據庫中，接着進行數據的操做。對於如何存儲爲csv文件，請查看 >>> 《此處的最後一個小主題》

對於本次小練習的介紹：

目的：對已爬取的數據進行數據庫管理和簡單操做

步驟：建立數據庫文件 >>> 建立表 >>> 保存數據到數據庫 >>> 對數據進行簡單操做

方法：我採用的方法是：

① 編寫一個函數( get_data(fileName) )：讀取csv文件中的數據，主要完成對數據的格式轉換，以便適合保存到數據庫中

② 編寫一個函數類( class SQL_method )：對數據庫進行簡單操做，主要完成數據庫的建立和數據的增刪查改

**對 SQL_method 類的方法說明**
方法	說明
__init__(self, dbName, tabelName, data, columns, COLUMNS, Read_All=True)	對參數進行初始化，參數含義分別爲：數據庫名稱、表格名稱、數據、表格首行(用於建立表)、表格首行(用於格式輸出)、輸出全部數據(插入數據後)
creatTable(self)	建立數據庫文件、建立表格
destroyTable(self)	刪除表格
insertDatas(self)	向數據庫的表格中插入多條數據
getAllData(self)	以列表形式返回數據庫表格中的全部數據
searchData(self, condition, IfPrint=True)	查找特定數據, 參數的含義分別爲：查找條件、是否輸出(查找的數據)
deleteData(self, condition)	在數據庫的表格中刪除特定數據, 參數爲刪除條件
printData(self, data)	輸出數據, 參數爲須要輸出的數據
run(self)	運行建立數據庫和表格的函數，同時支持輸出全部數據(依靠Read_All)

③ 嘗試其餘操做 ( 如下的全部操做均在 main 函數中實現 )：

a. 在數據庫中查找某一項記錄

b. 對數據按照某種排序輸出

c. 對數據進行增加權值操做，實現從新排序【權值詳情】

d. 刪除數據庫中的某些記錄

e. 刪除數據庫中的表

好了，有了前進的方向，那咱們楊帆 ----- 起航 >>>

  1 # -*- coding: utf-8 -*-
  2 '''
  3 使用 url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html" 的數據進行SQLite3數據庫的練習使用
  4 @author: bpf
  5 '''
  6 
  7 import sqlite3
  8 from pandas import DataFrame
  9 import re
 10 
 11 class SQL_method:
 12     '''
 13     function: 能夠實現對數據庫的基本操做
 14     '''
 15     def __init__(self, dbName, tableName, data, columns, COLUMNS, Read_All=True):
 16         '''
 17         function: 初始化參數
 18         dbName: 數據庫文件名 
 19         tableName: 數據庫中表的名稱
 20         data: 從csv文件中讀取且通過處理的數據
 21         columns: 用於建立數據庫，爲表的第一行
 22         COLUMNS: 用於數據的格式化輸出，爲輸出的表頭
 23         Read_All: 建立表以後是否讀取出全部數據
 24         '''
 25         self.dbName = dbName
 26         self.tableName = tableName
 27         self.data = data
 28         self.columns = columns
 29         self.COLUMNS = COLUMNS
 30         self.Read_All = Read_All
 31 
 32     def creatTable(self):
 33         '''
 34         function: 建立數據庫文件及相關的表
 35         '''
 36         # 鏈接數據庫
 37         connect = sqlite3.connect(self.dbName)
 38         # 建立表
 39         connect.execute("CREATE TABLE {}({})".format(self.tableName, self.columns))
 40         # 提交事務
 41         connect.commit()
 42         # 斷開鏈接
 43         connect.close()
 44 
 45     def destroyTable(self):
 46         '''
 47         function: 刪除數據庫文件中的表
 48         '''
 49         # 鏈接數據庫
 50         connect = sqlite3.connect(self.dbName)
 51         # 刪除表
 52         connect.execute("DROP TABLE {}".format(self.tableName))
 53         # 提交事務
 54         connect.commit()
 55         # 斷開鏈接
 56         connect.close()
 57 
 58     def insertDataS(self):
 59         '''
 60         function: 向數據庫文件中的表插入多條數據
 61         '''
 62         # 鏈接數據庫
 63         connect = sqlite3.connect(self.dbName)
 64         # 插入多條數據
 65         connect.executemany("INSERT INTO {} VALUES(?,?,?,?,?,?,?,?,?,?,?,?,?)".format(self.tableName), self.data)
 66         #for i in range(len(self.data)):
 67         #    connect.execute("INSERT INTO university VALUES(?,?,?,?,?,?,?,?,?,?,?,?,?)", data[i])
 68         # 提交事務
 69         connect.commit()
 70         # 斷開鏈接
 71         connect.close()
 72 
 73     def getAllData(self):
 74         '''
 75         function: 獲得數據庫文件中的全部數據
 76         '''
 77         # 鏈接數據庫
 78         connect = sqlite3.connect(self.dbName)
 79         # 建立遊標對象
 80         cursor = connect.cursor()
 81         # 讀取數據
 82         cursor.execute("SELECT * FROM {}".format(self.tableName))
 83         dataList = cursor.fetchall()
 84         # 斷開鏈接
 85         connect.close()
 86         return dataList
 87 
 88     def searchData(self, conditions, IfPrint=True):
 89         '''
 90         function: 查找特定的數據
 91         '''
 92         # 鏈接數據庫
 93         connect = sqlite3.connect(self.dbName)
 94         # 建立遊標
 95         cursor = connect.cursor()
 96         # 查找數據
 97         cursor.execute("SELECT * FROM {} WHERE {}".format(self.tableName, conditions))
 98         data = cursor.fetchall()
 99         # 關閉遊標
100         cursor.close()
101         # 斷開數據庫鏈接
102         connect.close()
103         if IfPrint:
104             self.printData(data)
105         return data
106 
107     def deleteData(self, conditions):
108         '''
109         function: 刪除數據庫中的數據
110         '''
111         # 鏈接數據庫
112         connect = sqlite3.connect(self.dbName)
113         # 插入多條數據
114         connect.execute("DELETE FROM {} WHERE {}".format(self.tableName, conditions))
115         # 提交事務
116         connect.commit()
117         # 斷開鏈接
118         connect.close()
119 
120     def printData(self, data):
121         print("{1:{0}^3}{2:{0}<11}{3:{0}<4}{4:{0}<4}{5:{0}<5}{6:{0}<5}{7:{0}^5}{8:{0}^5}{9:{0}^5}{10:{0}^5}{11:{0}^5}{12:{0}^6}{13:{0}^5}".format(chr(12288), *self.COLUMNS))
122         for i in range(len(data)):
123             print("{1:{0}<4.0f}{2:{0}<10}{3:{0}<5}{4:{0}<6}{5:{0}<7}{6:{0}<8}{7:{0}<7.0f}{8:{0}<8}{9:{0}<7.0f}{10:{0}<6.0f}{11:{0}<9.0f}{12:{0}<6.0f}{13:{0}<6.0f}".format(chr(12288), *data[i]))
124 
125     def run(self):
126         try:
127             # 建立數據庫文件
128             self.creatTable()
129             print(">>> 數據庫建立成功！")
130             # 保存數據到數據庫
131             self.insertDataS()
132             print(">>> 表建立、數據插入成功！")
133         except:
134             print(">>> 數據庫已建立！")
135         # 讀取全部數據
136         if self.Read_All:
137             self.printData(self.getAllData())
138 
139 def get_data(fileName):
140     '''
141     function: 讀取得到大學排名的數據 並 將結果返回
142     '''
143     data = []
144     # 打開文件
145     f = open(fileName, 'r', encoding='utf-8')
146     # 按行讀取文件
147     for line in f.readlines():
148         # 替換掉其中的換行符和百分號  替換百分號是爲了方便以後的排序和運算
149         line = line.replace('\n', '')
150         line = line.replace('%','')
151         # 將字符串按照 ',' 分割爲列表
152         line = line.split(',')
153         
154         for i in range(len(line)):
155             # 使用 異常處理 避開 出現中文沒法轉換 的錯誤
156             try:
157                 # 將空值填充爲 0
158                 if line[i] == '':
159                     line[i] = '0'
160                 # 將數字轉換爲數值
161                 line[i] = eval(line[i])
162             except:
163                 continue
164         data.append(tuple(line))
165     # EN_columns、CH_columns 分別爲 用於數據庫建立、數據的格式化輸出
166     EN_columns = "Rank real, University text, Province text, Grade real, SourseQuality real, TrainingResult real, ResearchScale real, \
167     ReserchQuality real, TopResult real, TopTalent real, TechnologyService real, Cooperation real, TransformationResults real"
168     CH_columns =  ["排名", "學校名稱", "省市", "總分", "生涯質量", "培養結果(%)", "科研規模", "科研質量", "頂尖成果", "頂尖人才", "科技服務", "產學研合做", "成果轉化"]
169     return data[1:], EN_columns, CH_columns
170 
171 if __name__ == "__main__":
172     # =================== 設置和獲得基本數據 ===================
173     fileName = "D:\\University_Rank.csv"
174     data, EN_columns, CH_columns = get_data(fileName)
175     dbName = "university.db"
176     tableName = "university"
177 
178     # ================= 建立一個SQL_method對象 ==================
179     SQL = SQL_method(dbName, tableName, data, EN_columns, CH_columns, False)
180 
181     # =================== 建立數據庫並保存數據 ===================
182     SQL.run()
183     
184     # =================== 在數據庫中查找數據項 ===================
185     # 查找記錄並輸出結果
186     print(">>> 查找數據項（University = '廣東工業大學'） :")
187     SQL.searchData("University = '廣東工業大學'", True)
188 
189     # ================= 在數據庫中篩選數據項並排序 ==================
190     # 將選取廣東省的數據 並 對科研規模大小排序
191     print("\n>>> 篩選數據項並按照科研規模排序（Province = '廣東省'） :")
192     SQL.searchData("Province = '廣東省' ORDER BY ResearchScale", True)
193 
194     # =============== 對數據庫中的數據進行從新排序操做 ================
195     # 定義權值
196     Weight = [0.3, 0.15, 0.1, 0.1, 0.1, 0.1, 0.05, 0.05, 0.05]
197     value, sum = [], 0
198     # 獲取 Province = '廣東省' 的全部數據
199     sample = SQL.searchData("Province = '廣東省'", False)
200     # 按照權值求出各個大學的總得分
201     for i in range(len(sample)):
202         for j in range(len(Weight)):
203             sum += sample[i][4+j] * Weight[j]
204         value.append(sum)
205         sum = 0
206     # 將結果經過 pandas 的 DataFrame 方法組成一個二維序列
207     university = [university[1] for university in sample]
208     uv, tmp = [], []
209     for i in range(len(university)):
210         tmp.append(university[i])
211         tmp.append(value[i])
212         uv.append(tmp)
213         tmp = []
214     df = DataFrame(uv, columns=list(("大學", "總分")))
215     df = df.sort_values('總分')
216     df.index = [i for i in range(1, len(uv)+1)]
217     # 輸出結果
218     print("\n>>> 篩選【廣東省】的大學並經過權值運算後重排名的結果：\n", df)
219     
220     # ===================== 在數據庫中刪除數據項 =====================
221     SQL.deleteData("Province = '北京市'")
222     SQL.deleteData("Province = '廣東省'")
223     SQL.deleteData("Province = '山東省'")
224     SQL.deleteData("Province = '山西省'")
225     SQL.deleteData("Province = '江西省'")
226     SQL.deleteData("Province = '河南省'")
227     print("\n>>> 數據刪除成功！")
228     SQL.printData(SQL.getAllData())
229 
230     # ====================== 在數據庫中刪除表 ========================
231     SQL.destroyTable()
232     print(">>> 表刪除成功！