以前作查詢一直以爲直接拼 SQL 比較方便,用了 SQLAlchemy 的 ORM 查詢以後,發現也還能夠,還提升了可讀性。mysql
這篇文章主要說說 SQLAlchemy 經常使用的 ORM 查詢方式,偏實踐。看了以後,對付開發中的查詢需求,我以爲能夠知足很多。sql
爲方便說明,假設有以下數據後端
圖書表 booksbash
+----+--------+--------------------------+-------+
| id | cat_id | name | price |
+----+--------+--------------------------+-------+
| 1 | 1 | 生死疲勞 | 40.40 |
| 2 | 1 | 皮囊 | 31.80 |
| 3 | 2 | 半小時漫畫中國史 | 33.60 |
| 4 | 2 | 耶路撒冷三千年 | 55.60 |
| 5 | 2 | 國家寶藏 | 52.80 |
| 6 | 3 | 時間簡史 | 31.10 |
| 7 | 3 | 宇宙簡史 | 22.10 |
| 8 | 3 | 天然史 | 26.10 |
| 9 | 3 | 人類簡史 | 40.80 |
| 10 | 3 | 萬物簡史 | 33.20 |
+----+--------+--------------------------+-------+
複製代碼
分類表 categoriessession
+----+--------------+
| id | name |
+----+--------------+
| 1 | 文學 |
| 2 | 人文社科 |
| 3 | 科技 |
+----+--------------+
複製代碼
ORM 對象定義以下app
注意:本文 Python 代碼在如下環境測試經過測試
# coding=utf-8
from sqlalchemy import create_engine
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String, Numeric
from sqlalchemy.orm import sessionmaker
Base = declarative_base()
engine = create_engine('mysql+pymysql://username:password'
'@127.0.0.1:3306/db_name?charset=utf8')
Session = sessionmaker(bind=engine)
session = Session()
def to_dict(self):
return {c.name: getattr(self, c.name, None)
for c in self.__table__.columns}
Base.to_dict = to_dict
class Book(Base):
__tablename__ = 'books'
id = Column(Integer, primary_key=True)
cat_id = Column(Integer)
name = Column('name', String(120))
price = Column('price', Numeric)
class Category(Base):
__tablename__ = 'categories'
id = Column(Integer, primary_key=True)
name = Column('name', String(30))
複製代碼
好了,下面進入正題。ui
當咱們獲取圖書的詳情時,很容易用到。spa
book_id = 1
book = session.query(Book).get(book_id)
print(book and book.to_dict())
複製代碼
直接 get(primary_key) 就獲得結果scala
{'id': 1, 'cat_id': 1, 'name': '生死疲勞',
'price': Decimal('40.40')}
複製代碼
固然,這樣也能夠
book_id = 1
book = session.query(Book) \
.filter(Book.id == book_id) \
.first()
print(book and book.to_dict())
複製代碼
不過,仍是前一種方式簡潔一些。
咱們最經常使用到的就是這種查詢,好比我要獲取 cat_id
爲 1 且價格大於 35 的書
books = session.query(Book) \
.filter(Book.cat_id == 1,
Book.price > 35) \
.all()
print([v.to_dict() for v in books])
複製代碼
執行後,獲得結果
[{'id': 1, 'cat_id': 1, 'name': '生死疲勞',
'price': Decimal('40.40')}]
複製代碼
filter() 裏面的條件默認是使用 AND 進行鏈接,畢竟這最經常使用嘛。因此說,換成這樣用也是沒有問題的
from sqlalchemy import and_
books = session.query(Book) \
.filter(and_(Book.cat_id == 1,
Book.price > 35)) \
.all()
print([v.to_dict() for v in books])
複製代碼
不過,一般來講,若是條件全是用 AND 鏈接的話,不必顯式的去用 and_
。
若是條件都是等值比較的話,可使用 filter_by()
方法,傳入的是關鍵字參數。
查詢 cat_id
等於 1 且價格等於 31.8 的圖書,能夠這樣
books = session.query(Book) \
.filter_by(cat_id=1, price=31.8) \
.all()
print([v.to_dict() for v in books])
複製代碼
結果
[{'id': 2, 'cat_id': 1, 'name': '皮囊',
'price': Decimal('31.80')}]
複製代碼
這種方式相對於 filter() 來講,書寫要簡潔一些,不過條件都限制在了等值比較。
不一樣狀況選擇合適的就好。
除了上面使用的 get()、first()、all() 外,還有下面的一些方法比較經常使用。
# 找不到記錄會拋以下錯誤
# sqlalchemy.orm.exc.NoResultFound: No row was found for one()
book = session \
.query(Book).filter(Book.id > 10) \
.one()
print(book and book.to_dict())
# 找到多條記錄會拋以下錯誤
# sqlalchemy.orm.exc.MultipleResultsFound: Multiple rows were found for one()
book = session \
.query(Book).filter(Book.id < 10) \
.one()
print(book and book.to_dict())
# 正常,獲得以下結果
# {'id': 10, 'cat_id': 3, 'name': '萬物簡史',
# 'price': Decimal('33.20')}
book = session \
.query(Book).filter(Book.id == 10) \
.one()
print(book and book.to_dict())
複製代碼
count = session \
.query(Book) \
.filter(Book.cat_id == 3) \
.count()
print(count)
複製代碼
結果
5
複製代碼
books = session \
.query(Book) \
.filter(Book.cat_id == 3) \
.limit(3) \
.all()
print([v.to_dict() for v in books])
複製代碼
結果
[{'id': 6, 'cat_id': 3, 'name': '時間簡史',
'price': Decimal('31.10')},
{'id': 7, 'cat_id': 3, 'name': '宇宙簡史',
'price': Decimal('22.10')},
{'id': 8, 'cat_id': 3, 'name': '天然史',
'price': Decimal('26.10')}]
複製代碼
books = session \
.query(Book.cat_id) \
.distinct(Book.cat_id) \
.all()
print([dict(zip(v.keys(), v)) for v in books])
複製代碼
結果
[{'cat_id': 1}, {'cat_id': 2},
{'cat_id': 3}]
複製代碼
order_by()
將記錄按照某個字段進行排序# 圖書按 ID 降序排列
# 若是要升序排列,去掉 .desc() 便可
books = session \
.query(Book.id, Book.name) \
.filter(Book.id > 8) \
.order_by(Book.id.desc()) \
.all()
print([dict(zip(v.keys(), v)) for v in books])
複製代碼
結果
[{'id': 10, 'name': '萬物簡史'},
{'id': 9, 'name': '人類簡史'}]
複製代碼
book_name = session \
.query(Book.name) \
.filter(Book.id == 10)\
.scalar()
print(book_name)
複製代碼
結果
萬物簡史
複製代碼
# 查看 ID 大於 10 的圖書是否存在
from sqlalchemy.sql import exists
is_exist = session \
.query(exists().where(Book.id > 10)) \
.scalar()
print(is_exist)
複製代碼
結果
False
複製代碼
經過 OR 鏈接條件的狀況也多,好比我要獲取 cat_id
等於 1 或者價格大於 35 的書
from sqlalchemy import or_
books = session.query(Book) \
.filter(or_(Book.cat_id == 1,
Book.price > 35)) \
.all()
print([v.to_dict() for v in books])
複製代碼
執行,獲得結果
[{'id': 1, 'cat_id': 1, 'name': '生死疲勞',
'price': Decimal('40.40')},
{'id': 2, 'cat_id': 1, 'name': '皮囊',
'price': Decimal('31.80')},
{'id': 4, 'cat_id': 2, 'name': '耶路撒冷三千年',
'price': Decimal('55.60')},
{'id': 5, 'cat_id': 2, 'name': '國家寶藏',
'price': Decimal('52.80')},
{'id': 9, 'cat_id': 3, 'name': '人類簡史',
'price': Decimal('40.80')}]
複製代碼
使用方式和 AND 查詢相似,從 sqlalchemy 引入 or_
,而後將條件放入就 OK 了。
現實狀況下,咱們很容易碰到 AND 和 OR 並存的查詢。好比,我如今要查詢價格大於 55 或者小於 25,同時 cat_id
不等於 1 的圖書
from sqlalchemy import or_
books = session.query(Book) \
.filter(or_(Book.price > 55,
Book.price < 25),
Book.cat_id != 1) \
.all()
print([v.to_dict() for v in books])
複製代碼
結果
[{'id': 4, 'cat_id': 2, 'name': '耶路撒冷三千年',
'price': Decimal('55.60')},
{'id': 7, 'cat_id': 3, 'name': '宇宙簡史',
'price': Decimal('22.10')}]
複製代碼
又如,查詢圖書的數量,圖書知足兩個要求中的一個便可:一是 cat_id
大於 5;二是 cat_id
小於 2 且價格大於 40。能夠這樣
from sqlalchemy import or_, and_
count = session.query(Book) \
.filter(or_(Book.cat_id > 5,
and_(Book.cat_id < 2,
Book.price > 40))) \
.count()
print(count)
複製代碼
結果
1
複製代碼
開發中,咱們常常會碰到根據傳入的參數構造查詢條件進行查詢。好比
cat_id
,須要限制 cat_id
等於 0min_price
,須要限制 price 大於等於 min_price
max_price
,須要限制 price 小於等於 max_price
咱們就能夠編寫相似的代碼
# 請求參數,這裏只是佔位,實際由用戶提交的請求決定
params = {'cat_id': 1}
conditions = []
if params.get('cat_id', 0):
conditions.append(Book.cat_id == params['cat_id'])
if params.get('price', 0):
conditions.append(Book.price == params['price'])
if params.get('min_price', 0):
conditions.append(Book.price >= params['min_price'])
if params.get('max_price', 0):
conditions.append(Book.price <= params['max_price'])
books = session.query(Book).filter(*conditions).all()
print([v.to_dict() for v in books])
複製代碼
結果
[{'id': 1, 'cat_id': 1, 'name': '生死疲勞',
'price': Decimal('40.40')},
{'id': 2, 'cat_id': 1, 'name': '皮囊',
'price': Decimal('31.80')}]
複製代碼
OR 查詢相似,將列表解包傳給 or_()
便可。
若是需求更復雜,AND 和 OR 均可能出現,這個時候根據狀況多建幾個列表實現。這裏只向你們說明大體的思路,就不舉具體的例子了。
固然,若是都是等值查詢的話,好比只有這兩種狀況
cat_id
,須要限制 cat_id
等於 0可使用字典的解包給 filter_by()
傳參
# 請求參數,這裏只是佔位,實際由用戶提交的請求決定
params = {'price': 31.1}
condition_dict = {}
if params.get('cat_id', 0):
condition_dict['cat_id'] = params['cat_id']
if params.get('price', 0):
condition_dict['price'] = params['price']
books = session.query(Book) \
.filter_by(**condition_dict) \
.all()
print([v.to_dict() for v in books])
複製代碼
結果
[{'id': 6, 'cat_id': 3, 'name': '時間簡史',
'price': Decimal('31.10')}]
複製代碼
除了上面看到的 ==、>、>=、<、<=、!= 以外,還有幾個比較經常使用
# 查詢 ID 在 一、三、5 中的記錄
books = session.query(Book) \
.filter(Book.id.in_([1, 3, 5])) \
.all()
複製代碼
# 查詢名稱包含「時間簡史」的圖書
books = session.query(Book) \
.filter(Book.name.contains('時間簡史')) \
.all()
複製代碼
FIN_IN_SET()
# 查詢名稱包含「時間簡史」的圖書
# 這裏顯然應該用 INSTR() 的用法
# FIND_IN_SET() 通常用於逗號分隔的 ID 串查找
# 這裏使用 FIND_IN_SET(),旨在說明用法
from sqlalchemy import func
books = session.query(Book) \
.filter(func.find_in_set('時間簡史', Book.name)) \
.all()
複製代碼
# 查詢名稱以「簡史」結尾的圖書
books = session.query(Book) \
.filter(Book.name.like('%簡史')) \
.all()
複製代碼
上面的 IN、INSTR、FIN_IN_SET
、LIKE 均可以使用 ~ 符號取反。好比
# 查詢 ID 不在 1 到 9 之間的記錄
books = session.query(Book) \
.filter(~Book.id.in_(range(1, 10))) \
.all()
複製代碼
查詢名稱包含「簡史」的圖書的 ID 和名稱。以下
books = session.query(Book.id, Book.name) \
.filter(Book.name.contains('簡史')) \
.all()
print([dict(zip(v.keys(), v)) for v in books])
複製代碼
結果
[{'id': 6, 'name': '時間簡史'},
{'id': 7, 'name': '宇宙簡史'},
{'id': 9, 'name': '人類簡史'},
{'id': 10, 'name': '萬物簡史'}]
複製代碼
獲取分類爲「科技」,且價格大於 40 的圖書
# 若是 ORM 對象中定義有外鍵關係
# 那麼 join() 中能夠不指定關聯關係
# 不然,必需要
books = session \
.query(Book.id,
Book.name.label('book_name'),
Category.name.label('cat_name')) \
.join(Category, Book.cat_id == Category.id) \
.filter(Category.name == '科技',
Book.price > 40) \
.all()
print([dict(zip(v.keys(), v)) for v in books])
複製代碼
結果
[{'id': 9, 'book_name': '人類簡史',
'cat_name': '科技'}]
複製代碼
統計各個分類的圖書的數量
from sqlalchemy import func
books = session \
.query(Category.name.label('cat_name'),
func.count(Book.id).label('book_num')) \
.join(Book, Category.id == Book.cat_id) \
.group_by(Category.id) \
.all()
print([dict(zip(v.keys(), v)) for v in books])
複製代碼
結果
[{'cat_name': '文學', 'book_num': 2},
{'cat_name': '人文社科', 'book_num': 3},
{'cat_name': '科技', 'book_num': 5}]
複製代碼
爲方便說明,咱們僅在這一小節中向 books 表中加入以下數據
+----+--------+-----------------+-------+
| id | cat_id | name | price |
+----+--------+-----------------+-------+
| 11 | 5 | 人性的弱點 | 54.40 |
+----+--------+-----------------+-------+
複製代碼
查看 ID 大於等於 9 的圖書的分類信息
# outerjoin 默認是左鏈接
# 若是 ORM 對象中定義有外鍵關係
# 那麼 outerjoin() 中能夠不指定關聯關係
# 不然,必需要
books = session \
.query(Book.id.label('book_id'),
Book.name.label('book_name'),
Category.id.label('cat_id'),
Category.name.label('cat_name')) \
.outerjoin(Category, Book.cat_id == Category.id) \
.filter(Book.id >= 9) \
.all()
print([dict(zip(v.keys(), v)) for v in books])
複製代碼
結果
[{'book_id': 9, 'book_name': '人類簡史',
'cat_id': 3, 'cat_name': '科技'},
{'book_id': 10, 'book_name': '萬物簡史',
'cat_id': 3, 'cat_name': '科技'},
{'book_id': 11, 'book_name': '人性的弱點',
'cat_id': None, 'cat_name': None}]
複製代碼
注意最後一條記錄。
當碰到複雜的查詢,好比有 AND、有 OR、還有鏈接查詢時,有時可能得不到預期的結果,這時咱們能夠打出最終的 SQL 幫助咱們來查找錯誤。
以上一節的外鏈接爲例說下怎麼打印最終 SQL
q = session \
.query(Book.id.label('book_id'),
Book.name.label('book_name'),
Category.id.label('cat_id'),
Category.name.label('cat_name')) \
.outerjoin(Category, Book.cat_id == Category.id) \
.filter(Book.id >= 9)
raw_sql = q.statement \
.compile(compile_kwargs={"literal_binds": True})
print(raw_sql)
複製代碼
其中,q 爲 sqlalchemy.orm.query.Query 類的對象。
結果
SELECT books.id AS book_id, books.name AS book_name, categories.id AS cat_id, categories.name AS cat_name
FROM books LEFT OUTER JOIN categories ON books.cat_id = categories.id
WHERE books.id >= 9
複製代碼
至此,SQLAlchemy ORM 經常使用的一些查詢方法和技巧已介紹完畢,但願能幫助到有須要的朋友。
關注公衆號「小小後端」閱讀更多精彩文章。