sqlalchemy學習筆記

時間  2019-11-06
標籤 sqlalchemy 學習 筆記 简体版
原文   原文鏈接

SQLAlchemy是python的一個數據庫ORM工具，提供了強大的對象模型間的轉換，能夠知足絕大多數數據庫操做的需求，而且支持多種數據庫引擎（sqlite，mysql，postgres, mongodb等），在這裏記錄基本用法和學習筆記html

1、安裝

經過pip安裝python

$ pip install SQLAlchemy

2、使用

首先是鏈接到數據庫，SQLALchemy支持多個數據庫引擎，不一樣的數據庫引擎鏈接字符串不同，經常使用的有mysql

mysql://username:password@hostname/database
postgresql://username:password@hostname/database
sqlite:////absolute/path/to/database
sqlite:///c:/absolute/path/to/database

更多鏈接字符串的介紹參見這裏git

下面是鏈接和使用sqlite數據庫的例子github

1. connection

使用傳統的connection的方式鏈接和操做數據庫sql

from sqlalchemy import create_engine

# 數據庫鏈接字符串
DB_CONNECT_STRING = 'sqlite:///:memory:'

# 建立數據庫引擎,echo爲True,會打印全部的sql語句
engine = create_engine(DB_CONNECT_STRING, echo=True)

# 建立一個connection，這裏的使用方式與python自帶的sqlite的使用方式相似
with engine.connect() as con:
    # 執行sql語句，若是是增刪改，則直接生效，不須要commit
    rs = con.execute('SELECT 5')
    data = rs.fetchone()[0]
    print "Data: %s" % data

與python自帶的sqlite不一樣，這裏不須要Cursor光標，執行sql語句不須要commitmongodb

2. connection事務

使用事務能夠進行批量提交和回滾數據庫

from sqlalchemy import create_engine

# 數據庫鏈接字符串
DB_CONNECT_STRING = 'sqlite:////Users/zhengxiankai/Desktop/Document/db.sqlite'
engine = create_engine(DB_CONNECT_STRING, echo=True)

with engine.connect() as connection:
    trans = connection.begin()
    try:
        r1 = connection.execute("select * from User")
        r2 = connection.execute("insert into User(name, age) values(?, ?)", 'bomo', 24)
        trans.commit()
    except:
        trans.rollback()
        raise

3. session

connection是通常使用數據庫的方式，sqlalchemy還提供了另外一種操做數據庫的方式，經過session對象，session能夠記錄和跟蹤數據的改變，在適當的時候提交，而且支持強大的ORM的功能，下面是基本使用bash

from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker

# 數據庫鏈接字符串
DB_CONNECT_STRING = 'sqlite:////Users/zhengxiankai/Desktop/Document/db.sqlite'

# 建立數據庫引擎,echo爲True,會打印全部的sql語句
engine = create_engine(DB_CONNECT_STRING, echo=True)

# 建立會話類
DB_Session = sessionmaker(bind=engine)

# 建立會話對象
session = DB_Session()

# dosomething with session

# 用完記得關閉，也能夠用with
session.close()

上面建立了一個session對象，接下來能夠操做數據庫了，session也支持經過sql語句操做數據庫session

session.execute('select * from User')
session.execute("insert into User(name, age) values('bomo', 13)")
session.execute("insert into User(name, age) values(:name, :age)", {'name': 'bomo', 'age':12})

# 若是是增刪改，須要commit
session.commit()

注意參數使用dict，並在sql語句中使用:key佔位

4. ORM

上面簡單介紹了sql的簡單用法，既然是ORM框架，咱們先定義兩個模型類User和Role，sqlalchemy的模型類繼承自一個由declarative_base()方法生成的類，咱們先定義一個模塊Models.py生成Base類

from sqlalchemy.ext.declarative import declarative_base

Base = declarative_base()

User.py

from sqlalchemy import Column, Integer, String
from Models import Base

class User(Base):
    __tablename__ = 'User'
    id = Column('id', Integer, primary_key=True, autoincrement=True)
    name = Column('name', String(50))
    age = Column('age', Integer)

Role.py

from sqlalchemy import Column, Integer, String
from Models import Base

class Role(Base):
    __tablename__ = 'Role'
    id = Column('id', Integer, primary_key=True, autoincrement=True)
    name = Column('name', String(50))

從上面很容易看出來，這裏的模型對應數據庫中的表，模型支持的類型有Integer, String, Boolean, Date, DateTime, Float，更多類型包括類型對應的Python的類型參見：這裏

Column構造函數相關設置

  • name：名稱

  • type_：列類型

  • autoincrement：自增

  • default：默認值

  • index：索引

  • nullable：可空

  • primary_key：外鍵

更多介紹參見這裏

接下來經過session進行增刪改查

from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
from User import User
from Role import Role
from Models import Base

DB_CONNECT_STRING = 'sqlite:////Users/zhengxiankai/Desktop/Document/db.sqlite'
engine = create_engine(DB_CONNECT_STRING, echo=True)
DB_Session = sessionmaker(bind=engine)
session = DB_Session()

# 1. 建立表（若是表已經存在，則不會建立）
Base.metadata.create_all(engine)

# 2. 插入數據
u = User(name = 'tobi', age = 200)
r = Role(name = 'user')

# 2.1 使用add，若是已經存在，會報錯
session.add(u)
session.add(r)
session.commit()
print r.id

# 3 修改數據
# 3.1 使用merge方法，若是存在則修改，若是不存在則插入（只判斷主鍵，不判斷unique列）
r.name = 'admin'
session.merge(r)

# 3.2 也能夠經過這種方式修改
session.query(Role).filter(Role.id == 1).update({'name': 'admin'})

# 4. 刪除數據
session.query(Role).filter(Role.id == 1).delete()

# 5. 查詢數據
# 5.1 返回結果集的第二項
user = session.query(User).get(2)

# 5.2 返回結果集中的第2-3項
users = session.query(User)[1:3]

# 5.3 查詢條件
user = session.query(User).filter(User.id < 6).first()

# 5.4 排序
users = session.query(User).order_by(User.name)

# 5.5 降序（須要導入desc方法）
from sqlalchemy import desc
users = session.query(User).order_by(desc(User.name))

# 5.6 只查詢部分屬性
users = session.query(User.name).order_by(desc(User.name))
for user in users:
    print user.name

# 5.7 給結果集的列取別名
users = session.query(User.name.label('user_name')).all()
for user in users:
    print user.user_name

# 5.8 去重查詢（須要導入distinct方法）
from sqlalchemy import distinct
users = session.query(distinct(User.name).label('name')).all()

# 5.9 統計查詢
user_count = session.query(User.name).order_by(User.name).count()
age_avg = session.query(func.avg(User.age)).first()
age_sum = session.query(func.sum(User.age)).first()

# 5.10 分組查詢
users = session.query(func.count(User.name).label('count'), User.age).group_by(User.age)
for user in users:
    print 'age:{0}, count:{1}'.format(user.age, user.count)

# 6.1 exists查詢(不存在則爲~exists())
from sqlalchemy.sql import exists
session.query(User.name).filter(~exists().where(User.role_id == Role.id))
# SELECT name AS users_name FROM users WHERE NOT EXISTS (SELECT * FROM roles WHERE users.role_id = roles.id)

# 6.2 除了exists，any也能夠表示EXISTS
session.query(Role).filter(Role.users.any())

# 7 random
from sqlalchemy.sql.functions import random
user = session.query(User).order_by(random()).first()

session.close()

參考連接：

5. 多表關係

上面的全部操做都是基於單個表的操做，下面是多表以及關係的使用，咱們修改上面兩個表，添加外鍵關聯（一對多和多對一）

User模型

from sqlalchemy import Column, Integer, String
from sqlalchemy import ForeignKey
from sqlalchemy.orm import relationship
from Models import Base

class User(Base):
    __tablename__ = 'users'
    id = Column('id', Integer, primary_key=True, autoincrement=True)
    name = Column('name', String(50))
    age = Column('age', Integer)

    # 添加角色id外鍵(關聯到Role表的id屬性)
    role_id = Column('role_id', Integer, ForeignKey('roles.id'))
    # 添加同表外鍵
    second_role_id = Column('second_role_id', Integer, ForeignKey('roles.id'))

    # 添加關係屬性，關聯到role_id外鍵上
    role = relationship('Role', foreign_keys='User.role_id', backref='User_role_id')
    # 添加關係屬性，關聯到second_role_id外鍵上
    second_role = relationship('Role', foreign_keys='User.second_role_id', backref='User_second_role_id')

Role模型

from sqlalchemy import Column, Integer, String
from sqlalchemy.orm import relationship
from Models import Base

class Role(Base):
    __tablename__ = 'roles'
    id = Column('id', Integer, primary_key=True, autoincrement=True)
    name = Column('name', String(50))

    # 添加關係屬性，關聯到User.role_id屬性上
    users = relationship("User", foreign_keys='User.role_id', backref="Role_users")
    # 添加關係屬性，關聯到User.second_role_id屬性上
    second_users = relationship("User", foreign_keys='User.second_role_id', backref="Role_second_users")

這裏有一點須要注意的是，設置外鍵的時候ForeignKey('roles.id')這裏面使用的是表名和表列，在設置關聯屬性的時候relationship('Role', foreign_keys='User.role_id', backref='User_role_id')，這裏的foreign_keys使用的時候類名和屬性名

接下來就可使用了

u = User(name='tobi', age=200)

r1 = Role(name='admin')
r2 = Role(name='user')

u.role = r1
u.second_role = r2

session.add(u)
session.commit()

# 查詢（對於外鍵關聯的關係屬性能夠直接訪問，在須要用到的時候session會到數據庫查詢）
roles = session.query(Role).all()
for role in roles:
    print 'role:{0} users'
    for user in role.users:
        print '\t{0}'.format(user.name)
    print 'role:{0} second_users'
    for user in role.second_users:
        print '\t{0}'.format(user.name)

上面表示的是一對多（多對一）的關係，還有一對一，多對多，若是要表示一對一的關係，在定義relationship的時候設置uselist爲False（默認爲True），如在Role中

class Role(Base):
    ...
    user = relationship("User", uselist=False, foreign_keys='User.role_id', backref="Role_user")

6. 多表查詢

多表查詢一般使用join進行錶鏈接，第一個參數爲表名，第二個參數爲條件，例如

users = db.session.query(User).join(Role, Role.id == User.role_id)

for u in users:
    print u.name

join爲內鏈接，還有左鏈接outerjoin，用法與join相似，右鏈接和全外連接在1.0版本上不支持，一般來講有這兩個結合查詢的方法基本夠用了，1.1版本貌似添加了右鏈接和全外鏈接的支持，可是目前只是預覽版

還能夠直接查詢多個表，以下

result = db.session.query(User, Role).filter(User.role_id = Role.id)
# 這裏選擇的是兩個表，使用元組獲取數據
for u, r in result:
      print u.name

3、數據庫遷移

sqlalchemy的數據庫遷移/升級有兩個庫支持alembic和sqlalchemy-migrate

因爲sqlalchemy-migrate在2011年發佈了0.7.2版本後，就已經中止更新了，而且已經不維護了，也積累了不少bug，而alembic是較後來纔出現，並且是sqlalchemy的做者開發的，有良好的社區支持，因此在這裏只學習alembic這個庫

alembic實現了相似git/svn的版本管理的控制，咱們能夠經過alembic維護每次升級數據庫的版本

1. 安裝

經過pip安裝，pip會自動安裝相關的依賴

$ pip install alembic

2. 初始化

安裝完成後再項目根目錄運行

$ alembic init YOUR_ALEMBIC_DIR

alembic會在根目錄建立YOUR_ALEMBIC_DIR目錄和alembic.ini文件，以下

yourproject/
    alembic.ini
    YOUR_ALEMBIC_DIR/
        env.py
        README
        script.py.mako
        versions/
            3512b954651e_add_account.py
            2b1ae634e5cd_add_order_id.py
            3adcc9a56557_rename_username_field.py

其中

  • alembic.ini 提供了一些基本的配置

  • env.py 每次執行Alembic都會加載這個模塊，主要提供項目Sqlalchemy Model 的鏈接

  • script.py.mako 遷移腳本生成模版

  • versions 存放生成的遷移腳本目錄

默認狀況下建立的是基於單個數據庫的，若是須要支持多個數據庫或其餘，能夠經過alembic list_templates查看支持的模板

$ alembic list_templates
Available templates:

generic - Generic single-database configuration.
multidb - Rudimentary multi-database configuration.
pylons - Configuration that reads from a Pylons project environment.

Templates are used via the 'init' command, e.g.:

  alembic init --template generic ./scripts

3. 配置

使用以前，須要配置一下連接字符串，打開alembic.ini文件，設置sqlalchemy.url鏈接字符串，例如

sqlalchemy.url = sqlite:////Users/zhengxiankai/Desktop/database.db

其餘參數能夠參見官網說明：http://alembic.zzzcomputing.com/en/latest/tutorial.html

4. 建立數據庫版本

接下來咱們建立一個數據庫版本，並新建兩個表

$ alembic revision -m 'create table'

建立一個版本（會在yourproject/YOUR_ALEMBIC_DIR/versions/文件夾中建立一個python文件1a8a0d799b33_create_table.py）

該python模塊包含upgrade和downgrade兩個方法，在這裏添加一些新增表的邏輯

"""create table

Revision ID: 4fd533a56b34
Revises:
Create Date: 2016-09-18 17:20:27.667100

"""
from alembic import op
import sqlalchemy as sa


# revision identifiers, used by Alembic.
revision = '4fd533a56b34'
down_revision = None
branch_labels = None
depends_on = None

def upgrade():
    # 添加表
    op.create_table(
        'account',
        sa.Column('id', sa.Integer, primary_key=True),
        sa.Column('name', sa.String(50), nullable=False),
        sa.Column('description', sa.Unicode(200)),
    )

    # 添加列
    # op.add_column('account', sa.Column('last_transaction_date', sa.DateTime))



def downgrade():
    # 刪除表
    op.drop_table('account')

    # 刪除列
    # op.drop_column('account', 'last_transaction_date')

這裏使用到了了op對象，關於op對象的更多API使用，參見這裏

這裏生成的文件名是依照在alembic.ini文件聲明的模板來的，默認爲版本號+名字，能夠加上一些日期信息，不然很差排序，更多參數參見這裏

file_template = %%(year)d_%%(month).2d_%%(day).2d_%%(hour).2d_%%(minute).2d_%%(rev)s_%%(slug)s

另外一般咱們也改一下生成模板script.py.mako，加上編碼信息，不然在升級腳本中若是有中文會報錯

#!/usr/bin/python
# -*- coding:utf-8 -*-

5. 升級數據庫

剛剛實現了升級和降級的方法，經過下面命令升級數據庫到最新版本

$ alembic upgrade head

這時候能夠看到數據庫多了兩個表alembic_version和account，alembic_version存放數據庫版本

關於升級和降級的其餘命令還有下面這些

# 升到最高版本
$ alembic upgrade head

# 降到最第一版本
$ alembic downgrade base

# 升兩級
$ alembic upgrade +2

# 降一級
$ alembic downgrade -1

# 升級到制定版本
$ alembic upgrade e93b8d488143

# 查看當前版本
$ alembic current

# 查看歷史版本詳情
$ alembic history --verbose

# 查看歷史版本（-r參數）相似切片
$ alembic history -r1975ea:ae1027
$ alembic history -r-3:current
$ alembic history -r1975ea:

6. 經過元數據升級數據庫

上面咱們是經過API升級和降級，咱們也能夠直接經過元數據更新數據庫，也就是自動生成升級代碼，先定義兩個Model（User, Role），這裏我定義成三個文件

yourproject/
    YOUR_ALEMBIC_DIR/
    tutorial/Db
        Models.py
        User.py
        Role.py

代碼就放在一塊兒了

from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String
Base = declarative_base()

class User(Base):
    __tablename__ = 'users'

    id = Column('id', Integer, primary_key=True, autoincrement=True)
    name = Column('name', String)

class Role(Base):
    __tablename__ = 'roles'

    id = Column('id', Integer, primary_key=True, autoincrement=True)
    name = Column('name', String)

在YOUR_ALEMBIC_DIR/env.py配置元數據

target_metadata = None

改成

import os
import sys

# 這裏須要添加相對路徑到sys.path，不然會引用失敗，嘗試過使用相對路徑，但各類很差使，仍是使用這種方法靠譜些
sys.path.append(os.path.abspath(os.path.join(os.getcwd(), "../yourproject/tutorial/Db")))

from User import User
from Role import Role
from Models import Base
target_metadata = Base.metadata

os.path.join(os.getcwd()這個獲取到的地址不是env.py的路徑，而是根目錄

在建立數據庫版本的時候添加--autogenerate參數，就會從Base.metadata元數據中生成腳本

$ alembic revision --autogenerate -m "add user table"

這時候會在生成升級代碼

"""add user table

Revision ID: 97de1533584a
Revises: 8678ab6d48c1
Create Date: 2016-09-19 21:58:00.758410

"""
from alembic import op
import sqlalchemy as sa


# revision identifiers, used by Alembic.
revision = '97de1533584a'
down_revision = '8678ab6d48c1'
branch_labels = None
depends_on = None

def upgrade():
    ### commands auto generated by Alembic - please adjust! ###
    op.create_table('roles',
    sa.Column('id', sa.Integer(), nullable=False),
    sa.Column('name', sa.String(), nullable=True),
    sa.PrimaryKeyConstraint('id')
    )
    op.create_table('users',
    sa.Column('id', sa.Integer(), nullable=False),
    sa.Column('name', sa.String(), nullable=True),
    sa.PrimaryKeyConstraint('id')
    )
    op.drop_table('account')
    ### end Alembic commands ###


def downgrade():
    ### commands auto generated by Alembic - please adjust! ###
    op.create_table('account',
    sa.Column('id', sa.INTEGER(), nullable=False),
    sa.Column('name', sa.VARCHAR(length=50), nullable=False),
    sa.Column('description', sa.VARCHAR(length=200), nullable=True),
    sa.Column('last_transaction_date', sa.DATETIME(), nullable=True),
    sa.PrimaryKeyConstraint('id')
    )
    op.drop_table('users')
    op.drop_table('roles')
    ### end Alembic commands ###

因爲我沒有定義account模型，會被識別爲刪除，若是刪除了model的列的聲明，則會被識別爲刪除列，自動生成的版本咱們也能夠本身修改，而後執行升級命令便可升級alembic upgrade head

須要注意的是

  1. Base.metadata聲明的類必須以數據庫中的一一對應，若是數據庫中有的表，而在元數據中沒有，會識別成刪除表

  2. revision建立版本以前執行以前須要升級到最新版本

  3. 配置Base以前，須要保證全部的Model都已經執行（即導入）過一次了，不然沒法讀取到，也就是須要把全部Model都import進來

數據庫升級有風險，升級前最好先檢查一遍upgrade函數，能夠的話作好備份哈

4、常見問題

1. String長度問題

若是使用mysql數據庫，String類型對應的是VARCHAR類型，須要指定長度，不然會報下面錯誤，而在sqlite不會出現

(in table 'user', column 'name'): VARCHAR requires a length on dialect mysql

若有問題歡迎到個人博客留言

5、參考連接

最後安利一下本身的博客：http://zhengbomo.github.com

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程