python處理資料檔案第一步是要讀取資料，檔案類型主要包括文本檔案(csv、txt等)、excel檔案、資料庫檔案、api等。
下面整理下python有哪些方式可以讀取資料檔案。
1. python内置方法(read、readline、readlines)
- read() ： 一次性讀取整個檔案内容。推薦使用read(size)方法，size越大運作時間越長
- readline() ：每次讀取一行内容。記憶體不夠時使用，一般不太用
- readlines() ：一次性讀取整個檔案内容，并按行傳回到list，友善我們周遊
具體用法可見： 一文搞懂python檔案讀寫
2. 内置子產品(csv)
python内置了csv子產品用于讀寫csv檔案，csv是一種逗号分隔符檔案，是資料科學中最常見的資料存儲格式之一。 csv子產品能輕松完成各種體量資料的讀寫操作，當然大資料量需要代碼層面的優化。
- csv子產品讀取檔案
# 讀取csv檔案import csv with open('test.csv','r') as myFile: lines=csv.reader(myFile) for line in lines: print (line)
- csv子產品寫入檔案
import csv with open('test.csv','w+') as myFile: myWriter=csv.writer(myFile) # writerrow一行一行寫入 myWriter.writerow([7,8,9]) myWriter.writerow([8,'h','f']) # writerow多行寫入 myList=[[1,2,3],[4,5,6]] myWriter.writerows(myList)
3. 使用numpy庫(loadtxt、load、fromfile)
- loadtxt方法 loadtxt用來讀取文本檔案(包含txt、csv等)以及.gz 或.bz2格式壓縮檔案，前提是檔案資料每一行必須要有數量相同的值。
import numpy as np# loadtxt()中的dtype參數預設設定為float# 這裡設定為str字元串便于顯示np.loadtxt('test.csv',dtype=str)# out：array(['1,2,3', '4,5,6', '7,8,9'], dtype='
- load方法 load用來讀取numpy專用的.npy, .npz 或者pickled持久化檔案。
import numpy as np# 先生成npy檔案np.save('test.npy', np.array([[1, 2, 3], [4, 5, 6]]))# 使用load加載npy檔案np.load('test.npy')'''out:array([[1, 2, 3], [4, 5, 6]])'''
- fromfile方法 fromfile方法可以讀取簡單的文本資料或二進制資料，資料來源于tofile方法儲存的二進制資料。讀取資料時需要使用者指定元素類型，并對數組的形狀進行适當的修改。
import numpy as npx = np.arange(9).reshape(3,3)x.tofile('test.bin')np.fromfile('test.bin',dtype=np.int)# out:array([0, 1, 2, 3, 4, 5, 6, 7, 8])
4. 使用pandas庫(read_csv、read_excel等)
pandas是資料處理最常用的分析庫之一，可以讀取各種各樣格式的資料檔案，一般輸出dataframe格式。 如：txt、csv、excel、json、剪切闆、資料庫、html、hdf、parquet、pickled檔案、sas、stata等等
- read_csv方法 read_csv方法用來讀取csv格式檔案，輸出dataframe格式。
import pandas as pdpd.read_csv('test.csv')
- read_excel方法 讀取excel檔案，包括xlsx、xls、xlsm格式
import pandas as pdpd.read_excel('test.xlsx')
- read_table方法 通過對sep參數(分隔符)的控制來對任何文本檔案讀取
- read_json方法 讀取json格式檔案
df = pd.DataFrame([['a', 'b'], ['c', 'd']],index=['row 1', 'row 2'],columns=['col 1', 'col 2'])j = df.to_json(orient='split')pd.read_json(j,orient='split')
- read_html方法 讀取html表格
- read_clipboard方法 讀取剪切闆内容
- read_pickle方法 讀取plckled持久化檔案
- read_sql方法 讀取資料庫資料，連接配接好資料庫後，傳入sql語句即可
- read_dhf方法 讀取hdf5檔案，适合大檔案讀取
- read_parquet方法 讀取parquet檔案
- read_sas方法 讀取sas檔案
- read_stata方法 讀取stata檔案
- read_gbq方法 讀取google bigquery資料
pandas學習網站： https://pandas.pydata.org/
5、讀寫excel檔案(xlrd、xlwt、openpyxl等)
python用于讀寫excel檔案的庫有很多，除了前面提到的pandas，還有xlrd、xlwt、openpyxl、xlwings等等。
主要子產品：
- **xlrd庫：**從excel中讀取資料，支援xls、xlsx
- **xlwt庫：**對excel進行修改操作，不支援對xlsx格式的修改
- **xlutils庫：**在xlw和xlrd中，對一個已存在的檔案進行修改
- **openpyxl：**主要針對xlsx格式的excel進行讀取和編輯
- **xlwings：**對xlsx、xls、xlsm格式檔案進行讀寫、格式修改等操作
- **xlsxwriter：**用來生成excel表格，插入資料、插入圖示等表格操作，不支援讀取
- **Microsoft Excel API：**需安裝pywin32，直接與Excel程序通信，可以做任何在Excel裡可以做的事情，但比較慢
6. 操作資料庫(pymysql、cx_Oracle等)
python幾乎支援對所有資料庫的互動，連接配接資料庫後，可以使用sql語句進行增删改查。
主要子產品：
- **pymysql：**用于和mysql資料庫的互動
- **sqlalchemy：**用于和mysql資料庫的互動
- **cx_Oracle：**用于和oracle資料庫的互動
- **sqlite3：**内置庫，用于和sqlite資料庫的互動
- **pymssql：**用于和sql server資料庫的互動
- **pymongo：**用于和mongodb非關系型資料庫的互動
- **redis、pyredis：**用于和redis非關系型資料庫的互動
使用參考位址： https://blog.csdn.net/a87b01c14/article/details/51546727
關于如何使用python連接配接mysql： pymysql操作執行個體
