天天看點

python資料庫連接配接池_Python 資料庫連接配接池

python程式設計中可以使用pymysql進行資料庫連接配接及增删改查操作,但每次連接配接mysql請求時,都是獨立的去請求通路,比較浪費資源,而且通路數量達到一定數量時,對mysql的性能會産生較大的影響。是以實際使用中,通常會使用資料庫的連接配接池技術,來通路資料庫達到資源複用。

python資料庫連接配接池_Python 資料庫連接配接池

python的資料庫連接配接池包:DBUtils

DBUtils提供兩種外部接口:

PersistentDB:提供線程專用的資料庫連接配接,并自動管理連接配接。

PooledDB:提供線程間可共享的資料庫連接配接,并自動管理連接配接。

DBUtils包安裝: pip3 install DBUtils

或者下載下傳 DBUtils 安裝包,解壓後,使用python setup.py install 指令進行安裝

未使用連接配接池的資料庫方法:

def getconn(host, user, passwd, db, sql, port=3306,charset='utf8'):2 conn = pymysql.connect(host=host, user=user, passwd=passwd, port=port, db=db, charset=charset) #建立連接配接

3 cur = conn.cursor(cursor=pymysql.cursors.DictCursor) #建立遊标并指定遊标類型

4 cur.execute(sql) #執行sql

5 if sql.startswith('select'): #判斷sql是否是select

6 res =cur.fetchone()7 else:8 conn.commit() #insert\delete\update語句執行完畢後需要進行commit

9 res = 88

10 cur.close() #關閉遊标

11 conn.close() #關閉連接配接

12 return res

用資料庫連接配接池後的方法:

importMySQLdbfrom DBUtils.PooledDB importPooledDB

pool= PooledDB(MySQLdb,5,host='localhost',user='root',passwd='pwd',db='myDB',port=3306) #5為連接配接池裡的最少連接配接數

conn= pool.connection() #以後每次需要資料庫連接配接就是用connection()函數擷取連接配接就好了

cur=conn.cursor()

SQL="select * from table1"r=cur.execute(SQL)

r=cur.fetchall()

cur.close()

conn.close()

下面利用pymysql 和 DBUtils 建立自己的mysql 資料庫連接配接工具包

classOPMysql(object):__pool =Nonedef __init__(self):#構造函數,建立資料庫連接配接、遊标

self.coon =OPMysql.getmysqlconn()

self.cur= self.coon.cursor(cursor=pymysql.cursors.DictCursor)#資料庫連接配接池連接配接

@staticmethoddefgetmysqlconn():if OPMysql.__pool isNone:__pool = PooledDB(creator=pymysql, mincached=1, maxcached=20, host=mysqlInfo['host'], user=mysqlInfo['user'], passwd=mysqlInfo['passwd'], db=mysqlInfo['db'], port=mysqlInfo['port'], charset=mysqlInfo['charset'])print(__pool)return __pool.connection()#插入\更新\删除sql

defop_insert(self, sql):print('op_insert', sql)

insert_num=self.cur.execute(sql)print('mysql sucess', insert_num)

self.coon.commit()returninsert_num#查詢

defop_select(self, sql):print('op_select', sql)

self.cur.execute(sql)#執行sql

select_res = self.cur.fetchone() #傳回結果為字典

print('op_select', select_res)returnselect_res#釋放資源

defdispose(self):

self.coon.close()

self.cur.close()

配置檔案mysqlinfo,包含資料庫的連接配接資訊、使用者名密碼等:

mysqlInfo ={"host": '192.168.1.112',"user": 'root',"passwd": '123456',"db": 'apitest',"port": 3306,"charset": 'utf8'}

建立test,測試資料庫連接配接

if __name__ == '__main__':#申請資源

opm =OPMysql()

sql= "select * from demo where name ='a' and pwd='e10adc3949ba59abbe56e057f20f883e'"res=opm.op_select(sql)#釋放資源

opm.dispose()

PooledDB參數解釋:

mincached,最少的空閑連接配接數,如果空閑連接配接數小于這個數,pool會建立一個新的連接配接。

maxcached,最大的空閑連接配接數,如果空閑連接配接數大于這個數,pool會關閉空閑連接配接。

maxconnections,最大的連接配接數,程序中最大可建立的線程數。

blocking, 當連接配接數達到最大連接配接數時,再次請求時,如果這個值是True,請求連接配接的程式會一直等待,直到目前連接配接數小于最大連接配接數;如果這個值為False,會報錯。

masxshared,當連接配接數達到這個數時,新請求的連接配接會分享已經配置設定出去的連接配接。

在uwsgi中,每個http請求都會有一個程序,連接配接池中配置的連接配接數都是一個程序為機關的(即上面的最大連接配接數,都是在一個程序中建立的線程數),如果業務中,一個http請求中需要的sql連接配接數不是很多的話(其實大多數都隻需要建立一個連接配接),配置的連接配接數配置都不需要太大。

連接配接池對性能的提升:

在程式建立連接配接的時候,可以從一個空閑的連接配接中擷取,不需要重新初始化連接配接,提升擷取連接配接的速度。

關閉連接配接的時候,把連接配接放回連接配接池,而不是真正的關閉,是以可以減少頻繁的打開和關閉連接配接。

後續繼續優化~~~~

參考連接配接:https://www.cnblogs.com/Xjng/p/3437694.html