Python中從SQL型數據庫讀寫dataframe型數據

Python的pandas包對錶格化的數據處理能力很強，而SQL數據庫的數據就是以表格的形式儲存，所以常常將sql數據庫裏的數據直接讀取爲dataframe，分析操做之後再將dataframe存到sql數據庫中。而pandas中的read_sql和to_sql函數就能夠很方便得從sql數據庫中讀寫數據。

read_sql

參見pandas.read_sql的文檔，read_sql主要有以下幾個參數：

• sql:SQL命令字符串
• con：鏈接sql數據庫的engine，通常能夠用SQLalchemy或者pymysql之類的包創建
• index_col: 選擇某一列做爲index
• coerce_float:很是有用，將數字形式的字符串直接以float型讀入
• parse_dates:將某一列日期型字符串轉換爲datetime型數據，與pd.to_datetime函數功能相似。能夠直接提供須要轉換的列名以默認的日期形式轉換，也能夠用字典的格式提供列名和轉換的日期格式，好比{column_name: format string}（format string："%Y:%m:%H:%M:%S"）。
• columns:要選取的列。通常沒啥用，由於在sql命令裏面通常就指定要選擇的列了
• chunksize：若是提供了一個整數值，那麼就會返回一個generator，每次輸出的行數就是提供的值的大小。
• params：其餘的一些執行參數，沒用過不太清楚。。。
  以連接常見的mysql數據庫爲例：

import pandas as pd
import pymysql
import sqlalchemy
from sqlalchemy import create_engine

# 1. 用sqlalchemy構建數據庫連接engine
connect_info = 'mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8'.format(DB_USER, DB_PASS, DB_HOST, DB_PORT, DATABASE)  #1
engine = create_engine(connect_info)
# sql 命令
sql_cmd = "SELECT * FROM table"
df = pd.read_sql(sql=sql_cmd, con=engine)

# 2. 用DBAPI構建數據庫連接engine
con = pymysql.connect(host=localhost, user=username, password=password, database=dbname, charset='utf8', use_unicode=True)
df = pd.read_sql(sql_cmd, con)

解釋一下 #1: 這個是sqlalchemy中連接數據庫的URL格式：dialect[+driver]://user:password@host/dbname[?key=value..]。dialect表明書庫局類型，好比mysql, oracle, postgresql。driver表明DBAPI的名字，好比psycopg2,pymysql等。具體說明能夠參考這裏。此外因爲數據裏面有中文的時候就須要將charset設爲utf8。

to_sql

參見pandas.to_sql函數，主要有如下幾個參數：

• name: 輸出的表名
• con: 與read_sql中相同
• if_exits： 三個模式：fail，若表存在，則不輸出；replace：若表存在，覆蓋原來表裏的數據；append：若表存在，將數據寫到原表的後面。默認爲fail
• index：是否將df的index單獨寫到一列中
• index_label:指定列做爲df的index輸出，此時index爲True
• chunksize： 同read_sql
• dtype: 指定列的輸出到數據庫中的數據類型。字典形式儲存：{column_name: sql_dtype}。常見的數據類型有sqlalchemy.types.INTEGER(), sqlalchemy.types.NVARCHAR(),sqlalchemy.Datetime()等，具體數據類型能夠參考這裏
  仍是以寫到mysql數據庫爲例：

df.to_sql(name='table', 
          con=con, 
          if_exists='append', 
          index=False,
          dtype={'col1':sqlalchemy.types.INTEGER(),
                 'col2':sqlalchemy.types.NVARCHAR(length=255),
                 'col_time':sqlalchemy.DateTime(),
                 'col_bool':sqlalchemy.types.Boolean
          })

注：若是不提供dtype,to_sql會自動根據df列的dtype選擇默認的數據類型輸出，好比字符型會以sqlalchemy.types.TEXT類型輸出，相比NVARCHAR，TEXT類型的數據所佔的空間更大，因此通常會指定輸出爲NVARCHAR；而若是df的列的類型爲np.int64時，將會致使沒法識別並轉換成INTEGER型，須要事先轉換成int類型（用map，apply函數能夠方便的轉換）。

參考：
http://docs.sqlalchemy.org/en/latest/core/type_basics.html#sql-standard-and-multiple-vendor-types
http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_sql.html
http://docs.sqlalchemy.org/en/latest/core/engines.html
http://docs.sqlalchemy.org/en/latest/core/type_basics.html#sql-standard-and-multiple-vendor-types
http://stackoverflow.com/questions/30631325/writing-to-mysql-database-with-pandas-using-sqlalchemy-to-sql
http://stackoverflow.com/questions/5687718/how-can-i-insert-data-into-a-mysql-database
http://stackoverflow.com/questions/32235696/pandas-to-sql-gives-unicode-decode-error
http://stackoverflow.com/questions/34383000/pandas-to-sql-all-columns-as-nvarchar