在pandas.DataFrame.to_sql時指定數據庫表的列類型

問題

在數據分析並存儲到數據庫時，Python的Pandas包提供了to_sql 方法使存儲的過程更爲便捷，但若是在使用to_sql方法前不在數據庫建好相對應的表，to_sql則會默認爲你建立一個新表，這時新表的列類型可能並非你指望的。例如咱們經過下段代碼往數據庫中插入一部分數據：

import pandas as pd
from datetime import datetime

df = pd.DataFrame([['a', 1, 1, 2.0, datetime.now(), True]], 
                  columns=['str', 'int', 'float', 'datetime', 'boolean'])
print(df.dtypes)

經過_dtypes_可知數據類型爲object, int64, float64, datetime64[ns], bool
若是把數據經過to_sql方法插入到數據庫中：

from sqlalchemy import create_engine
engine = create_engine("mysql+mysqldb://{}:{}@{}/{}".format('username', 'password', 'host:port', 'database'))
con = engine.connect()

df.to_sql(name='test', con=con, if_exists='append', index=False)

用MySQL的_desc_能夠發現數據庫自動建立了表並默認指定了列的格式：

# 在MySQL中查看錶的列類型
desc test;

Filed	Type	Null	Key	Default	Extra
str	text	YES		NULL
int	bigint(20)	YES		NULL
float	double	YES		NULL
datetime	datetime	YES		NULL
boolean	tinyint(1)	YES		NULL

其中str類型的數據在數據庫表中被映射成text，int類型被映射成bigint(20)， float類型被映射成double類型。數據庫中的列類型可能並不是是咱們所指望的格式，但咱們又不想在數據插入前手動的建立數據庫的表，而更但願根據DataFrame中數據的格式動態地改變數據庫中表格式。

分析

經過查閱pandas.DataFrame.to_sql的api文檔¹，能夠經過指定dtype 參數值來改變數據庫中建立表的列類型。

dtype : dict of column name to SQL type, default None
Optional specifying the datatype for columns. The SQL type should be a SQLAlchemy type, or a string for sqlite3 fallback connection.

根據描述，能夠在執行to_sql方法時，將映射好列名和指定類型的dict賦值給dtype參數便可上，其中對於MySQL表的列類型能夠使用SQLAlchemy包中封裝好的類型。

# 執行前先在MySQL中刪除表
drop table test;

from sqlalchemy.types import NVARCHAR, Float, Integer
dtypedict = {
  'str': NVARCHAR(length=255),
  'int': Integer(),
  'float' Float()
}
df.to_sql(name='test', con=con, if_exists='append', index=False, dtype=dtypedict)

更新代碼後，再查看數據庫，能夠看到數據庫在建表時會根據dtypedict中的列名來指定相應的類型。

desc test;

Filed	Type	Null	Key	Default	Extra
str	varchar(255)	YES		NULL
int	int(11)	YES		NULL
float	float	YES		NULL
datetime	datetime	YES		NULL
boolean	tinyint(1)	YES		NULL

答案

經過分析，咱們已經知道在執行to_sql的方法時，能夠經過建立一個相似「{"column_name"：sqlalchemy_type}」的映射結構來控制數據庫中表的列類型。但在實際使用時，咱們更但願能經過pandas.DataFrame中的column的數據類型來映射數據庫中的列類型，而不是每此都要列出pandas.DataFrame的column名字。
寫一個簡單的def將pandas.DataFrame中列名和預指定的類型映射起來便可：

def mapping_df_types(df):
    dtypedict = {}
    for i, j in zip(df.columns, df.dtypes):
        if "object" in str(j):
            dtypedict.update({i: NVARCHAR(length=255)})
        if "float" in str(j):
            dtypedict.update({i: Float(precision=2, asdecimal=True)})
        if "int" in str(j):
            dtypedict.update({i: Integer()})
    return dtypedict

只要在執行to_sql前使用此方法得到一個映射dict再賦值給to_sql的dtype參數便可，執行的結果與上一節相同，再也不累述。

df = pd.DataFrame([['a', 1, 1, 2.0, datetime.now(), True]], 
                  columns=['str', 'int', 'float', 'datetime', 'boolean'])
dtypedict = mapping_df_types(df)
df.to_sql(name='test', con=con, if_exists='append', index=False, dtype=dtypedict)

參考

---

1. pandas官方文檔 ↩