参考链接:https://blog.csdn.net/weixin_43064185/article/details/90634981
https://blog.csdn.net/zer_o_o/article/details/86742430
使用多线程操作mysql数据库时,如果使用普通的连接,会出现数据重复的问题,应该使用数据库连接池
解决方法:使用数据库连接池,并且每次操作都从数据库连接池获取数据库操作句柄,操作完关闭连接返回数据库连接池
如果不使用数据库连接池, 直接使用多线程去操作数据库, 会遇到资源竞争, 争夺cursor游标, Thread对象的Lock和Rlock可以实现简单的线程同步,对cursor进行加锁,但是这个行为,反其道而行。 经测试加锁还不如不用多线程,而且执行速度会比正常慢
from DBUtils.PooledDB import PooledDB
import traceback
from threading import Thread
# 基础类
class Base:
"""
用于连接和关闭
"""
def __init__(self):
seimport pymysql
lf.pool = self.create_pool()
def create_pool(self):
"""
创建数据库连接池
:return: 连接池
"""
pool = PooledDB(creator=pymysql,
maxconnections=0, # 连接池允许的最大连接数,0和None表示不限制连接数
mincached=4, # 初始化时,链接池中至少创建的空闲的链接,0表示不创建
maxcached=0, # 链接池中最多闲置的链接,0和None不限制
maxusage=1, # 一个链接最多被重复使用的次数,None表示无限制
blocking=True, # 连接池中如果没有可用连接后,是否阻塞等待。True,等待;False,不等待然后报错
host='127.0.0.1', # 此处必须是是127.0.0.1
port=3306,
user='root',
passwd='123456',
db='localhost',
use_unicode=True,
charset='utf8')
return pool
def save_mysql(self, sql, args):
"""
保存数据库
:param sql: 执行sql语句
:param args: 添加的sql语句的参数 list[tuple]
"""
try:
db = self.pool.connection() # 连接数据池
cursor = db.cursor() # 获取游标
cursor.executemany(sql, args)
db.commit()
cursor.close()
db.close()
except:
traceback.print_exc()
# 插入数据
def insertdata(self, insert, data):
args = [(id, name) for id, name in data if id and name]
self.save_mysql(insert, args)
悲伤的夏洛特@席玉铎666
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。