用于DB插入的多线程Python

文章/答案/技术大牛

发布

1回答

python、multithreading、orientdb

大家好，目前我正在尝试将当前的数据库迁移到另一个数据库，这个过程不幸地涉及到了python。我可以用单线程完成它，但它非常慢，需要几个小时才能完成一百万个数据。在python中有没有类似的方法，比如Java executor和futures？请注意，user_list是1000/1M的区块 q = """ insert into users(id,name,address,password""".fo

浏览 10提问于2016-07-28得票数 0

回答已采纳

8回答

是否有支持多线程的本地DB？

database、multithreading、delphi

我尝试了sqlite，通过使用多线程，只有一个线程可以同时更新db。我需要多线程同时更新数据库。有什么DB能胜任这份工作吗？但在我对asgsqlite的测试中，当一个线程插入时，其他线程将无法插入。我还在测试中。

浏览 10提问于2009-03-31得票数 3

回答已采纳

1回答

Python SQLAlchemy防止并行插入记录

python、architecture、synchronization、flask-sqlalchemy、blocking

我有一个Python -SQLAlchemy应用程序，它由Gunicorn下运行的OpenAPI v.3 YAML文件生成，一个应用程序的端点URL检查表中是否存在指定ID的记录，如果其中没有记录，则插入因此，我想知道，如果当表没有指定ID的记录时，有人同时调用端点URL，那么如何防止两个并行插入到DB表中。锁定DB表-检查记录是否存在-插入记录-释放锁？以某种方式同步Python代

浏览 6提问于2020-07-27得票数 1

3回答

数据库上多线程插入(更新)和单线程顺序插入(更新)的性能比较？

java、mysql、multithreading、oracle、locking

让我们设想一个环境:有一个db客户机和一个db服务器。db客户机可以是Java程序或其他程序等；db服务器可以是mysql、oracle等。还有另一种多线程并发插入方式，允许客户端同时触发多个线程，每个线程都将一个记录<em

浏览 5提问于2017-03-10得票数 1

回答已采纳

1回答

如何使用使用两个参数(一个列表参数和非列表参数)的函数调用concurrent.futures

python、python-3.x

我已经构建了一个函数，在这里我想利用Python中的多线程。这个函数有两个参数:一个列表类型的参数(其中我利用多线程)和一个不可迭代的变量。我编码的方式不起作用，我不知道如何调用它 create_folders()

浏览 5提问于2022-07-15得票数 0

回答已采纳

2回答

如何使用python多线程从XMl插入DB？

python、xml、multithreading

有谁能给我建议一下，用python多线程的可能方法是什么？我有一个xml文件(163 MB)。我的任务是这是XML结构。Fiction</Subject> &l

浏览 11提问于2011-11-30得票数 0

2回答

连接池上的事务控制

java、multithreading、transactions、connection-pooling

我有一个多线程应用程序，其中正在解析文件并插入到数据库中-我有一个用于写入数据库的db连接池-我需要在解析/写入整个操作上添加一个事务控制，即如果在解析/ db -insert操作期间出现任何错误，我希望回滚整个操作，其中我的部分数据库写入需要回滚-有什么方法可以做到这一点吗？

浏览 1提问于2017-08-15得票数 1

1回答

如何加快使用DB的python代码？

python、sql、database、loops、google-bigquery

我有一个关于如何处理大量数据的问题。我正在使用(我不认为这是这个DB的问题)，需要从一个表中选择数据，修改它(使用python)，然后插入到另一个表中。你能告诉我，我怎样才能加快这些行动。对于SELECT命令的每一行，我使用 for 循环。并且只处理15k行是一个很长的过程。也许多线程或某些库可以帮助我对DB中所有>15k行执行完全相同的功能。谢谢。

浏览 1提问于2022-05-09得票数 0

1回答

python 3.7对cosmos db的异步http请求

python、python-3.x、azure-cosmosdb

我是Python新手，我想使用Python向cosmos DB发送异步HTTP请求以执行批量插入操作。我尝试使用多线程和asyncio来完成这个任务。它已经给了我一个很好的性能，但我相信它肯定可以改进得更多，以下是代码： loop = asyncio.new_event_loop()result = await asyncio.gather(*futures)请注意，__save_to_cos

浏览 0提问于2019-10-31得票数 1

1回答

MySql innoDB自动增量锁解决方案

mysql、multithreading、innodb

我有一个项目，在这个项目中，我以每秒自动递增主键的方式向表中插入很多if信息，并使用多线程(这意味着有许多线程试图向该表插入一个新行)。因为表上有一个用于insert查询的锁，所以我不能同时执行插入，因此不能从线程中获得最大的性能. 有办法克服这个锁吗？

浏览 3提问于2017-01-29得票数 3

1回答

python中的比较和交换指令

python、python-2.7、c++11

在python中可以有CAS指令吗？CAS =比较和交换。我正在寻找与C++中的表达式等效的东西：a.compare_exchange_strong(x, y);

浏览 11提问于2017-08-22得票数 3

1回答

每x分钟执行一次函数: sched还是threading.Timer？

python、timer、python-multithreading

我需要每隔x分钟编程一次给定方法的执行。我找到了两种方法:第一种是使用sched模块，第二种是使用Threading.Timer。

浏览 8提问于2016-01-27得票数 12

回答已采纳

1回答

postgres转义输入数据

python、database、postgresql、psycopg2

我编写了一个python脚本，用于在postgres db中插入数据。在postgres中是一个转义函数，如何转义插入的数据？

浏览 4提问于2013-08-17得票数 2

回答已采纳

1回答

SQLITE3 CLSQL多线程插入导致错误

multithreading、common-lisp、clsql

我想并行使用多个线程的sqlite3数据库。我读到使用连接池可以访问threadsafe，但插入数据时仍然会出错。(make-thread (dotimes (i 100) (do-stuff-with db))))) 在此错误

浏览 3提问于2015-07-09得票数 2

回答已采纳

1回答

使用teradatasql包将数据框插入teradata

python、sql、teradata

我使用teradatasql包作为python和Teradata之间的连接器，它是Teradata的本地解决方案，用于从DB加载数据。但是，我想将我在python中创建的数据框插入回DB。

浏览 14提问于2020-07-13得票数 1

回答已采纳

2回答

MongoDB驱动程序什么时候建立连接？

java、mongodb、mongodb-java

我正在为MongoDB使用最新的Java驱动程序(2.11.1)。Java本质上是MongoDB 3)通过多线程重用单个DBCollection对象还是从多线程调

浏览 2提问于2013-06-06得票数 6

1回答

insert_many()和create_index在pymongo中的性能优化

python、mongodb、performance、pymongo

我是mongo和pymongo的新手，我有大量的数据(大约500万个文档)要插入，我正在使用ijson从JSON文件中读取数据，并将它存储起来，只需几秒钟就可以完成代码，如下所示：. .我刚刚在我的Macbook pro 13英寸2.3 GHz双核英特尔核心i5上使用了社区版的MHz LPDDR3，我的电脑上的时间是:插入时间：~90秒创建索引时间：~11

浏览 3提问于2020-11-22得票数 0

回答已采纳

1回答

利用多线程/多处理将数据插入到sqlalchemy数据库中

python、sql、pandas、sqlalchemy、singlestore

我有一系列需要插入到数据库中的平面文件，目前我有一个循环python脚本，它将逐个文件地读取和执行。这是非常慢的，因为我有~5000k+文件和~1B记录。如何利用多线程或多处理来执行下面的操作？sql_table_name'contents.sort() # loop through each file and insert into db

浏览 41提问于2021-07-17得票数 0

1回答