我一直在开发一个用于mongodb到mysql转换的ETL工具,该工具托管在github here 上。目前,在转换mongodb文档之后,插入查询将被发送以供执行,但是插入速度最大为每秒600次插入。nodejs的mysql是否有插入查询数/秒的限制?如果是这样,那么如何增加它?为插入查询创建数组是有局限性的,因为所有文档中可能包含不同的键,这将导致查询列名称的差异。
我试图在MySQL中批量插入500万条记录,但得到了ActiveRecord::StatementInvalid: Mysql2::Error: closed MySQL connection错误。我正在使用延迟的作业来批量插入500万条记录到数据库中。出于测试目的,我点击了5个HTTP请求,每个请求都包含将100万条记录批量插入数据库的请求,因此总共有500万条记录将被插入到数据库中。我正在运行5个延迟作业的实例来