前言：html
python處理數據文件的途徑有不少種，能夠操做的文件類型主要包括文本文件（csv、txt、json等）、excel文件、數據庫文件、api等其餘數據文件。下面小編整理下python到底有哪些方式能夠讀寫數據文件。python
1. read、readline、readlinesmysql
read() ：一次性讀取整個文件內容。推薦使用read(size)方法，size越大運行時間越長
readline() ：每次讀取一行內容。內存不夠時使用，通常不太用
readlines() ：一次性讀取整個文件內容，並按行返回到list，方便咱們遍歷
2. 內置模塊csvredis
python內置了csv模塊用於讀寫csv文件，csv是一種逗號分隔符文件，是數據科學中最多見的數據存儲格式之一。csv模塊能輕鬆完成各類體量數據的讀寫操做，固然大數據量須要代碼層面的優化。sql
csv模塊讀取文件：mongodb
# 讀取csv文件
import csv
with open('test.csv','r') as myFile:
lines=csv.reader(myFile)
for line in lines:
print (line)
csv模塊寫入文件：數據庫
import csv
with open('test.csv','w+') as myFile:
myWriter=csv.writer(myFile)
# writerrow一行一行寫入
myWriter.writerow([7,8,9])
myWriter.writerow([8,'h','f'])
# writerow多行寫入
myList=[[1,2,3],[4,5,6]]
myWriter.writerows(myList)
3. numpy庫json
loadtxt方法：api
loadtxt用來讀取文本文件（包含txt、csv等）以及.gz 或.bz2格式壓縮文件，前提是文件數據每一行必需要有數量相同的值。數組
import numpy as np
# loadtxt()中的dtype參數默認設置爲float
# 這裏設置爲str字符串便於顯示
np.loadtxt('test.csv',dtype=str)
# out：array(['1,2,3', '4,5,6', '7,8,9'], dtype='<U5')
load方法：
load用來讀取numpy專用的.npy,.npz或者pickled持久化文件。
import numpy as np
# 先生成npy文件
np.save('test.npy', np.array([[1, 2, 3], [4, 5, 6]]))
# 使用load加載npy文件
np.load('test.npy')
'''
out:array([[1, 2, 3],
[4, 5, 6]])
'''
fromfile方法：
fromfile方法能夠讀取簡單的文本數據或二進制數據，數據來源於tofile方法保存的二進制數據。讀取數據時須要用戶指定元素類型，並對數組的形狀進行適當的修改。
import numpy as np
x = np.arange(9).reshape(3,3)
x.tofile('test.bin')
np.fromfile('test.bin',dtype=np.int)
# out:array([0, 1, 2, 3, 4, 5, 6, 7, 8])
4. pandas庫
pandas是數據處理最經常使用的分析庫之一，能夠讀取各類各樣格式的數據文件，通常輸出dataframe格式。如：txt、csv、excel、json、剪切板、數據庫、html、hdf、parquet、pickled文件、sas、stata等等
read_csv方法：
read_csv方法用來讀取csv格式文件，輸出dataframe格式。
import pandas as pd
pd.read_csv('test.csv')
read_excel方法：
讀取excel文件，包括xlsx、xls、xlsm格式
import pandas as pd
pd.read_excel('test.xlsx')
read_table方法：
經過對sep參數（分隔符）的控制來對任何文本文件讀取
read_json方法：
讀取json格式文件
df = pd.DataFrame([['a', 'b'], ['c', 'd']],index=['row 1', 'row 2'],columns=['col 1', 'col 2'])
j = df.to_json(orient='split')
pd.read_json(j,orient='split')
read_html方法
讀取html表格
read_clipboard方法
讀取剪切板內容
read_pickle方法
讀取plckled持久化文件
read_sql方法
讀取數據庫數據，鏈接好數據庫後，傳入sql語句便可
read_dhf方法
讀取hdf5文件，適合大文件讀取
read_parquet方法
讀取parquet文件
read_sas方法
讀取sas文件
read_stata方法
讀取stata文件
read_gbq方法
讀取google bigquery數據
五、讀寫excel文件
python用於讀寫excel文件的庫有不少，除了前面提到的pandas，還有xlrd、xlwt、openpyxl、xlwings等等。
主要模塊：
xlrd庫
從excel中讀取數據，支持xls、xlsx
xlwt庫
對excel進行修改操做，不支持對xlsx格式的修改
xlutils庫
在xlw和xlrd中，對一個已存在的文件進行修改
openpyxl
主要針對xlsx格式的excel進行讀取和編輯
xlwings
對xlsx、xls、xlsm格式文件進行讀寫、格式修改等操做
xlsxwriter
用來生成excel表格，插入數據、插入圖標等表格操做，不支持讀取
Microsoft Excel API
需安裝pywin32，直接與Excel進程通訊，能夠作任何在Excel裏能夠作的事情，但比較慢
6. 操做數據庫
python幾乎支持對全部數據庫的交互，鏈接數據庫後，可使用sql語句進行增刪改查。
主要模塊：
pymysql
用於和mysql數據庫的交互
sqlalchemy
用於和mysql數據庫的交互
cx_Oracle
用於和oracle數據庫的交互
sqlite3
內置庫，用於和sqlite數據庫的交互
pymssql
用於和sql server數據庫的交互
pymongo
用於和mongodb非關係型數據庫的交互
redis、pyredis
用於和redis非關係型數據庫的交互
最後總結：
以上可能不是很完整,有些可能遺忘了,但願你們指出不足之處...歡迎你們點贊，留言，轉發，感謝你們的相伴與支持，想要了解更多Python知識以及想學好Python能夠關注公衆號：【Python的進階之旅】有驚喜哦！
往期精彩文章：
Python環境搭建—安利Python小白的Python和Pycharm安裝詳細教程 mp.weixin.qq.com