Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >数据库连接池DBUtils使用

数据库连接池DBUtils使用

作者头像
py3study
发布于 2020-01-20 06:19:30
发布于 2020-01-20 06:19:30
1.8K00
代码可运行
举报
文章被收录于专栏:python3python3
运行总次数:0
代码可运行

一、简介

  DBUtils简单说python实现的线程化数据库连接(连接池),DBUtils支持所有遵循DP-API 2规范的数据库连接模块,例如:mysql、sqlserver、oracle、sqlite3等,更多请参考官网:https://cito.github.io/DBUtils/UsersGuide.html。 

二、安装使用

安装

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pip3 install DBUtils

使用

在使用上通常使用其PooledDB和PersistentDB,以下将介绍这两种方式的使用方法:

  • PersistentDB:为每个线程创建一个连接,线程即使调用了close方法,也不会关闭,只是把连接重新放到连接池,供自己线程再次使用。当线程终止时,连接自动关闭。
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#!/usr/bin/env python3
# -*- coding:utf-8 -*-
# Author:wd
from DBUtils.PersistentDB import PersistentDB
import pymysql

POOL = PersistentDB(
    creator=pymysql,  # 使用链接数据库的模块
    maxusage=None,  # 一个链接最多被重复使用的次数,None表示无限制
    setsession=[],  # 开始会话前执行的命令列表。如:["set datestyle to ...", "set time zone ..."]
    ping=0,
    # ping MySQL服务端,检查是否服务可用。# 如:0 = None = never(从不检测), 1 = default = whenever it is requested, 2 = when a cursor is created(创建cursor时候), 4 = when a query is executed, 7 = always
    closeable=False,
    # 如果为False时, conn.close() 实际上被忽略,供下次使用,再线程关闭时,才会自动关闭链接。如果为True时, conn.close()则关闭链接,那么再次调用pool.connection时就会报错,因为已经真的关闭了连接(pool.steady_connection()可以获取一个新的链接)
    threadlocal=None,  # 本线程独享值得对象,用于保存链接对象,如果链接对象被重置
    host='10.1.210.33',
    port=3306,
    user='root',
    password='1234qwer',
    database='devops',
    charset='utf8'
)

def query():
    conn = POOL.connection(shareable=False)
    cursor = conn.cursor()
    cursor.execute('select * from account')
    result = cursor.fetchall()
    print(result)
    cursor.close()
    conn.close()
if __name__=='__main__':
    query()
  • PooledDB:创建一批连接到连接池,供所有线程共享使用,由于pymysql、MySQLdb等threadsafety值为1,所以该模式连接池中的线程会被所有线程共享。
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#!/usr/bin/env python3
# -*- coding:utf-8 -*-
# Author:wd

import pymysql
from DBUtils.PooledDB import PooledDB, SharedDBConnection
POOL = PooledDB(
    creator=pymysql,  # 使用链接数据库的模块
    maxconnections=6,  # 连接池允许的最大连接数,0和None表示不限制连接数
    mincached=2,  # 初始化时,链接池中至少创建的空闲的链接,0表示不创建
    maxcached=5,  # 链接池中最多闲置的链接,0和None不限制
    maxshared=3,  # 链接池中最多共享的链接数量,0和None表示全部共享。PS: 无用,因为pymysql和MySQLdb等模块的 threadsafety都为1,所有值无论设置为多少,_maxcached永远为0,所以永远是所有链接都共享。
    blocking=True,  # 连接池中如果没有可用连接后,是否阻塞等待。True,等待;False,不等待然后报错
    maxusage=None,  # 一个链接最多被重复使用的次数,None表示无限制
    setsession=[],  # 开始会话前执行的命令列表。如:["set datestyle to ...", "set time zone ..."]
    ping=0,
    # ping MySQL服务端,检查是否服务可用。# 如:0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always
    host='10.1.210.33',
    port=3306,
    user='root',
    password='1234qwer',
    database='devops',
    charset='utf8'
)


def query():
    # 检测当前正在运行连接数的是否小于最大链接数,如果不小于则:等待或报raise TooManyConnections异常
    # 否则
    # 则优先去初始化时创建的链接中获取链接 SteadyDBConnection。
    # 然后将SteadyDBConnection对象封装到PooledDedicatedDBConnection中并返回。
    # 如果最开始创建的链接没有链接,则去创建一个SteadyDBConnection对象,再封装到PooledDedicatedDBConnection中并返回。
    # 一旦关闭链接后,连接就返回到连接池让后续线程继续使用。
    conn = POOL.connection()
    cursor = conn.cursor()
    cursor.execute('select * from account')
    result = cursor.fetchall()
    print(result)
    conn.close()   #不是真正关闭,而是重新放回了连接池

if __name__=='__main__':
    query()
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019/04/23 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
DBUtils数据库连接池
使用数据库连接池技术,可以重复使用多个数据库连接,避免每次执行数据库操作都建立连接和关闭连接,也避免了大型应用同时占用多个数据库连接。
py3study
2020/01/16
6790
Python数据库连接池DBUtils
 如果没有连接池,使用pymysql来连接数据库时,单线程应用完全没有问题,但如果涉及到多线程应用那么就需要加锁,一旦加锁那么连接势必就会排队等待,当请求比较多时,性能就会降低了。
新人小试
2018/08/01
1.4K0
[227]python数据库连接池DBUtils.PooledDB
DBUtils 是一套用于管理数据库连接池的包,为高频度高并发的数据库访问提供更好的性能,可以自动管理连接对象的创建和释放。最常用的两个外部接口是 PersistentDB 和 PooledDB,前者提供了单个线程专用的数据库连接池,后者则是进程内所有线程共享的数据库连接池。
周小董
2022/04/12
2.2K0
开发自定义Mysql连接池
     tar -zxvf *.tar.gz * python3 setup.py build && python3 setup.py install
py3study
2020/01/10
5750
python DbUtils 使用教程
https://pypi.python.org/pypi/DBUtils/1.2
py3study
2020/01/08
7.1K0
太全了!用Python操作MySQL的使用教程集锦!
Python 标准数据库接口为 Python DB-API,Python DB-API为开发人员提供了数据库应用编程接口。Python 数据库接口支持非常多的数据库,你可以选择适合你项目的数据库:
周萝卜
2022/09/28
2.4K0
Flask使用mysql数据池
helper.py import pymysql from settings import Config def connect(): conn = Config.POOL.connection() cursor = conn.cursor(cursor=pymysql.cursors.DictCursor) # 以 字典的方式 显示 return conn,cursor def connect_close(conn,cursor): cursor.close()
人生不如戏
2018/08/01
5330
Python数据库连接池DBUtils.PooledDB
python不用连接池的MySQL连接方法 import MySQLdb conn= MySQLdb.connect(host='localhost',user='root',passwd='pwd',db='myDB',port=3306) cur=conn.cursor() SQL="select * from table1" r=cur.execute(SQL) r=cur.fetchall() cur.close() conn.close() 用连接池后的连接方法 import MySQLdb
好派笔记
2021/11/02
9060
数据库连接池,本地线程,上下文管理
一、数据库连接池 flask中是没有ORM的,如果在flask里要连接数据库有两种方式 一:pymysql 二:SQLAlchemy 是python 操作数据库的一个库。能够进行 orm 映射官方文档 sqlchemy SQLAlchemy“采用简单的Python语言,为高效和高性能的数据库访问设计,实现了完整的企业级持久模型”。SQLAlchemy的理念是,SQL数据库的量级和性能重要于对象集合;而对象集合的抽象又重要于表和行。  1.链接池原理 - DBUtils数据库链
用户1214487
2018/01/24
1.8K0
day116-Flask的CBV&session高级&Form&DBUtils数据库连接工具
1.Flask的CBV模式,继承 views.MethodView from flask import Flask, views app = Flask(__name__) # 继承 views.MethodView class LoginView(views.MethodView): def get(self): return 'get 请求' def post(self): return 'post 请求' # 第一个参数是路由,第二个参数是指
少年包青菜
2020/04/21
4120
Flask请求扩展和数据库连接池
1.1.Flask之请求扩展 #!/usr/bin/env python # -*- coding:utf-8 -*- from flask import Flask, Request, render_template app = Flask(__name__, template_folder='templates') app.debug = True @app.before_first_request def before_first_request1(): print('before_fi
zhang_derek
2018/05/30
1.3K0
Pymysql 连接池操作
在用python写后端服务时候,需要与mysql数据库进行一些数据查询或者插入更新等操作。启动服务后接口运行一切正常, 隔了第二天去看服务日志就会报错,问题如下:
用户3578099
2020/11/03
4.5K0
Flask中的数据连接池
为每个线程创建一个连接,线程即使调用了close方法,也不会关闭,只是把连接重新放到连接池,供自己线程再次使用。当线程终止时,连接自动关闭
小小咸鱼YwY
2020/06/19
8120
单利模式的四种方式
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/124468.html原文链接:https://javaforall.cn
全栈程序员站长
2022/07/21
3720
python 数据库连接池 DBUtils 源码解析
一说到数据库连接池,java 中有很多选择,C3P0、DBCP、Proxool、Tomcat-JDBC、druid 等等等等,五花八门,有着多种多样的特性,可是在 python 中,选择就没有那么多了。 主页君了解到的开源可靠的 python 数据库连接池只有 DBUtils。 DBUtils 作为一个通用数据库连接池,实现非常简洁,功能比较完善,本文我们就来析精剖微,深入源码,详细看看 DBUtils 是如何实现的。
用户3147702
2022/06/27
3.6K0
python 数据库连接池 DBUtils 源码解析
Python实现mysql数据库连接池
python编程中可以使用MySQLdb进行数据库的连接及诸如查询/插入/更新等操作,但是每次连接mysql数据库请求时,都是独立的去请求访问,相当浪费资源,
用户8442333
2021/12/01
3.4K0
Python mysql连接池
Python编程中可以使用MySQLdb进行数据库的连接及诸如查询/插入/更新等操作,但是每次连接MySQL数据库请求时,都是独立的去请求访问,相当浪费资源,而且访问数量达到一定数量时,对mysql的
IT架构圈
2018/05/31
6.8K1
python 3.6 使用数据库连接池工具类封装代码工具类
本文由来源 jackaroo2020,由 javajgs_com 整理编辑,其版权均为 jackaroo2020 所有,文章内容系作者个人观点,不代表 Java架构师必看 对观点赞同或支持。如需转载,请注明文章来源。
Java架构师必看
2021/03/22
1.6K0
测试需求平台14-DBUtils优化数据连接与SQL Limit实现分页
在项目中链接数据是直接通过pymysql去做的链接请求关闭,每次操作都要独立重复请求,其实是比较浪费资源,在并发不大的小项目虽然无感知,但如果有频繁请求的项目中,就会有性能问题,那么可以通过使用连接池技术,管理来进行优化
MegaQi
2023/10/21
2240
测试需求平台14-DBUtils优化数据连接与SQL Limit实现分页
python-DButils
import pymysql from DBUtils.PooledDB import PooledDB ​ from user_try.config import configuration ​ ​ class MysqlConn: """ mysql线程池 """ __my_pool = None ​ # 以何种方式返回数据集 TUPLE_CURSOR_MODE = pymysql.cursors.Cursor DICT_DICTCURSOR_MO
buiu
2021/11/19
4790
相关推荐
DBUtils数据库连接池
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验