dbeaver導入sql檔案_利用python進行資料分析之資料導入

加載資料的方法有很多，精力有限，根據資料類型分類掌握一緻兩種導入方法

1.讀寫文本格式的資料

pd.read_csv()
pd.read_table()
           

這一種應該是最常用的讀取資料的方法了，根據資料的混亂程度可以在後面加上讀取的限定方法，常用的如下：

導出文本檔案：

data.to_csv()
           

2.讀取/導出文本檔案

with open（'mydata.csv','r/w'）as f：
           

3.json資料

import json
a=json.loads(obj)#導入json資料
ajson=json.dumps(data)#将文本轉換成json對象
data=pd.read_json()#直接讀取json資料為data對象
           

4.讀取xml和html

pd.read_html()
           

5.讀取Excel檔案

#方法1
xlsx=pd.ExcelFile('name.xlsx')
#方法2
xlsx=pd.read_excel('name.xlsx')
           

6.從資料庫中讀取資料

與資料庫建立連接配接，用SQL查詢導入資料，分析資料時也可以之間用SQL語句查詢，然後轉換成DataFrame 形式，例：

#導入包
import pymysql
連接配接資料庫
conn=pymysql.connect(host='localhost',port=3306,
                     user='root',password='123456',db='brazilian',charset='utf8')#db為資料庫名
query='select * from new_orders_merged'#編寫SQL語句
sql_data=pd.read_sql(query,conn)#執行SQL語句，從資料庫中導入名為new_orders_merged的表

#sql語句
sql="""SELECT customer_state,ROUND(SUM(payment_value),2) AS "交易額"
FROM new_orders_merged
GROUP BY customer_state ORDER BY 交易額 DESC;"""
#建立遊标
cursor= conn.cursor()
#執行sql語句
cursor.execute(sql)
#讀取全部資料
state_pay=cursor.fetchall()
#轉換資料類型
#轉為list類型
state_pay_List=list(state_pay)
#轉為DataFrame類型
state_pay_Data = pd.DataFrame(state_pay_List,columns=["state","交易額"])
state_pay_Data=state_pay_Data.set_index("state")
print(state_pay_Data)