我正在尝试从SQL server获取数据并插入到MySQL中。我已经拿到了1lac的记录。记录的获取是正确的，但是在将记录插入到MySQL中的过程中，它不会立即插入数据。我需要刷新MySQL才能看到新记录。
var sql = require('mssql');
var mysql = require("mysql");
var config = {
user : 'sa',
password : '******',
server : 'serverurl'
浏览 1提问于2015-12-01得票数 0
1回答
我是nifi的新手，我正在尝试使用nifi在mysql中进行批量插入，下面是我的示例流程结构。 FetchFile ->
ConvertRecord (covert csv to json) ->
SplitJson ->
EvaluateJsonPath ->
routeOnAttribute ->
JoltTransformJson (adding new key value pair) ->
MergeContent (merge all flowfiles) ->
ConvertJsontoSql (converting jso
浏览 133提问于2019-03-12得票数 1
嗨，我需要一个方法来插入大量的记录到一个MySQL数据库表。
我使用Linq to Entities，而使用foreach循环并插入每条记录的方法太慢了。
例如：
foreach(var item in items){
context.Add(item);
context.SubmitChanges();
}
.net连接器中是否有类似MySql命令的方法: LOAD DATA INFILE？
浏览 0提问于2012-04-13得票数 4
2回答
我有多个客户端插入记录到一个中央mongo数据库中的表(其中有300万条记录)。如果是mysql/oracle，我可以使用sql-loader/存储过程来批量处理插入。有没有通用的方法来优化这样的senario？
浏览 1提问于2014-03-18得票数 0
我正在使用tmysql散装加载将数据加载到mysql中，我只想知道它是否能够不声不响地拒绝记录？
目前，使用mysql大容量加载特性talend将数据加载到mysql表中。在进程运行时，我没有看到任何错误，它以0的退出代码完成。但它能在处理记录时拒绝它们吗。
浏览 4提问于2015-04-28得票数 0
回答已采纳
1回答
我正在努力寻找在Spring/Hibernate服务中从MySQL数据库加载大量数据的最佳方式。
我从第三方API (通常在300- 1000之间)中拉出大约100k条记录，然后我需要从数据库中为每个记录拉出翻译，因为有30种语言，这意味着每条记录将有30行，所以来自API的1000条记录是来自数据库的30,000行。
来自API的记录以POJO (超小)的形式出现，假设我得到1000条记录，我把列表分成多个100条记录列表，然后收集每条记录的id，并为这条记录选择数据库中的所有翻译。我只需要表中的两个值，然后将它们添加到我的POJO中，然后将POJO推送到下一个服务。
基本上是这样的：
in
浏览 0提问于2019-03-30得票数 0
我需要将SQL Server2008Express中4个表中的大约200万条记录传输到MySQL。
在C#中，我可以使用在事务中非常快速地插入这些记录。(大约50秒)。
我如何在C#中为MySQL做类似的事情？
浏览 0提问于2009-05-29得票数 0
回答已采纳
是否有可能在Kibana Dev中变异两个字段。工具/控制台，即纬度，使用已从MySQL导入的现有索引和字段，将经度转换为geo_point类型的字段。
我们的想法不是从MySQL重新导入所有数据并通过Logstash。
浏览 1提问于2017-10-12得票数 0
2回答
我有一个包含2100万条记录的MySQL数据库，我试图对大约100万条记录进行更新，但是ERROR 1206 (HY000): The total number of locks exceeds the lock table size.的查询失败了
可以在不获取锁的情况下更新表吗？
我无法更改MySQL配置参数，如innodb_buffer_pool_size。是否有不同的方法来实现同样的目标？
谢谢
编辑
--我已经批量尝试了5000次，工作了几次，但是我得到了相同的错误----我尝试过锁表来锁定整个表，但仍然无法工作。
浏览 9提问于2011-02-02得票数 5
回答已采纳
我的MySQL数据库中有150多万条记录。如果我运行rake任务将数据索引到AWS ElasticSearch中，则需要3天以上才能完成索引。有没有其他方法可以更快地进行索引？
浏览 0提问于2018-04-17得票数 0
尽管news表有超过6500万条记录，但我在Kafka主题中看不到任何记录。连接器配置：
curl -X POST http://localhost:8083/connectors -H "Content-Type: application/json" -d '{
"name": "news_fetcher",
"config": {
"connector.class": "io.confluent.connect.jdbc.JdbcS
浏览 18提问于2021-06-06得票数 0
1回答
我有一个MySQL表，它充当电子邮件队列-保存所有需要发送的记录。我正在尝试执行每个电子邮件的发送与多个线程。每个线程都必须对此电子邮件队列表进行查询，以获取一组记录，然后将这些记录发送并从表中删除。 如何决定每个线程将从表中抓取哪些记录？那么，如何管理这些并发查询呢？我正在使用带有Hibernate的Java Spring Boot。
浏览 7提问于2019-07-01得票数 0
2回答
猫鼬被杀
、、
试图运行一个比较MySQL I/O和Mongo的测试。我要和猫鼬起诉Node，然后在循环中输入一堆记录。如果我试图做太多的记录与蒙戈，它退出。我唯一的错误就是“被杀”。
有没有人想过，或者他们见过这个？运行在Ubuntu上的Amazon上，节点运行在小型上，而Mongo运行在另一个小节点上。
浏览 1提问于2013-08-26得票数 0
回答已采纳
来自MySQL和Kafka主题的事件数据。我们将从MySQL加载历史数据，然后切换到Kafka，以便当前的data.Mysql ID也会流入Kafka。因此，消息包含事件ID。Kafka流事件将使用spark作业进行处理，并最终将数据摄取到报表中。 问题:如何加载历史数据并实时切换到Kafka源。 1-创建临时使用者组以存储所有分区的当前偏移量和当前时间戳TS1。 2-从create date <= TS1所在的MySQL表中获取最小ID和最大ID。并通过500k记录的分区进行处理。 3-完成上述处理后，将时间戳传递到主spark作业，该作业将处理存储的偏移量中的streAming数据
浏览 18提问于2020-01-23得票数 0
有没有办法在使用SQL Alchemy 1.3和posting到MySQL时执行“insert ignore”(用于当记录的主键已经存在于表中时忽略记录)？
我已经在互联网上搜索过了，但它似乎不是一个使用这个相当基本的功能的方法？
谢谢!
浏览 1提问于2019-09-30得票数 0
我想将数千个对象加入到一个集合中。
db.col.insert(
[
{ },
{ },
{ } // A couple of 1000s more
],
{
ordered : false,
writeConcern : 0
}
);
但是，我也希望使用元数据来标识这些组。数组中的每条记录都需要分配一些数据，该数据对于数组中的所有记录都是相同的。
是否有一种方法可以插入所有文件，对于所有文件也可以设置如下：
{
dateTime : '111111111',
groupId :
浏览 0提问于2015-11-05得票数 0
2回答
我试图根据特定日期从表中删除错误记录，并遇到以下错误：
mysql> delete from myTable where dataDate in ('2011-07-12');
ERROR 1206 (HY000): The total number of locks exceeds the lock table size
该表还没有索引(这是加载后清理)，由~2B记录组成：
mysql> select table_rows from information_schema.tables where table_name = 'myTable';
+-
浏览 0提问于2020-03-11得票数 1
1回答
我需要在MYSQL中插入文本文件中的记录，这不是问题。
问题是文本文件包含数百万条记录。这意味着处理一个文本文件将导致数百万个插入查询。此外，我不能(不想)使用PHP Infile，因为我必须对文本文件执行一些数据提取。将该文件存储到Blob字段中这不是我想要的。
浏览 0提问于2013-05-08得票数 0
回答已采纳
2回答
在我的MySQL数据库中，有一个包含2,000,000条记录的表。现在，我想在这个表中再插入6,000,000条新记录。
为了加快插入速度，我认为我应该使用禁用/启用键，如下所示：
ALTER TABLE cars DISABLE KEYS;
INSERT INTO cars ...
...
...
INSERT INTO cars ...
ALTER TABLE search_all_values ENABLE KEYS;
OPTIMIZE TABLE cars;
但不知何故，我觉得使用disable/enable键插入空表更有意义。
而在我的例子中，表中已经有2,000,000条记录
浏览 102提问于2011-11-21得票数 29
1回答
我有一个用例，在这个用例中，我必须将我所有的MySQL数据库数据推送到一个Kafka主题。现在，我知道我可以使用Kafka连接器来启动和运行它，但是我想了解它是如何在不使用连接器的情况下在内部工作的。在我的spring引导项目中，我已经创建了一个Kafka生产者文件，在这里我设置了我的所有配置，创建了一个生产者记录，等等。
以前有人尝试过这种方法吗？有人能对这件事发火吗？
浏览 2提问于2019-09-04得票数 0
在db中，我有一个名为register的表，它的主键是mail-id。我曾经使用session.add_all()批量提交。但有时有些记录已经存在；在这种情况下，我希望区分已经存在的记录和不存在的记录。
浏览 0提问于2017-09-27得票数 0
2回答
我正在处理一个批处理过程，它将慢速遗留数据库中的80万条记录(每次记录提取time...it加起来1.4-2ms)中的~80万条记录转储到MySQL中，这样可以执行得更快一些。为了优化这一点，我一直在将所有的MySQL记录加载到内存中，这使使用量达到了大约200 To。然后，我开始从遗留数据库中转储并更新记录。
最初，当它完成更新记录时，我将调用SaveContext，这将使我的内存从大约500 my 800 my跃升到1.5GB。很快，我就会摆脱内存异常(正在运行的虚拟机有2GB的RAM)，即使我给它提供更多的RAM，1.5-2GB的内存仍然有点过高，这只是为问题提供了一个创可贴。为了弥补这
浏览 6提问于2012-06-29得票数 9
回答已采纳
我有一个文本文件，其中包含例如公司名称、产品和价格。数据库中大约有200条记录，文本文件中的记录略多一点。现在，我想通过一个sql查询将所有价格更新到db。我已经尝试过了：
for($i = $start_row; $i < $stop_row; $i += 3)
...
$prices = array($price1, $price2, price3);
$pricesfloat = array_map('floatval', $prices);
...
$query = "UPDATE test3 SET price1 = $pricesfloat[0], p
浏览 1提问于2012-06-20得票数 0
我正在为不同的客户制作独特的托克斯。对于每个客户端请求，我必须生成100万个唯一令牌。生成唯一的标记需要很长时间，因此我使用延迟作业gem在后台执行此活动。
Flow of my application is as below
1) Client machine sends an api request to remote server to generate 1 million unique tokens.Remote machine sends response back to client machine with status "pending" and start g
浏览 1提问于2015-12-23得票数 0
回答已采纳
我希望在文件系统中保留一个包含图像路径记录的数据库。似乎刷新记录的最好方法是删除所有记录，然后重新创建。由于每5000条记录需要大约1分钟，此时图像可能对web服务器不可用，我想有一种方法可以做到这一点，5000条记录只需不到1分钟。那会是什么方式呢？
下面是一个慢速代码的例子：
foreach(ImageRecord imageRecord in EntityFrameworkCollection)
{
databaseContext.ImageRecords.Remove(imageRecord);
}
//...SaveChanges() and/or recreate con
浏览 4提问于2019-07-29得票数 2
回答已采纳
我正在使用Ruby和Datamapper将大量记录加载到MySQL数据库中。这些记录大多是插入的，但也有相当数量的更新。我基本上想在数据库中'upsert‘这些记录的所有列。我能找到的唯一选项是：
1)查询记录。如果它存在，请更新它。如果没有，则创建一条记录。(总是一个额外的查询) 2)尝试创建一条新记录。捕获重复的键错误。查询现有记录。更新这些记录。(当有更新时，2个额外的查询)
我想使用MySQL的On Duplicate Key Update，因为它看起来效率更高。有没有办法在Datamapper中做到这一点？还有其他建议吗？
浏览 0提问于2012-08-24得票数 1
1回答
据我所知，使用C#和SQL Server大容量插入数据的最佳方法是使用表类型并传入数据表。我们当前的流程是一次处理/插入一条记录(即使有数千条记录)，这样我们就能够成功地处理有效记录并报告错误。显然，这是一个巨大的性能问题。
有没有办法进行大容量插入操作，从而允许插入有效记录而使无效记录失败？如果是这样，您如何找出哪些记录通过，哪些记录失败或导致错误？
浏览 1提问于2016-04-06得票数 0
3回答
我正在使用hadoop更新mysql数据库中的一些记录...我看到的问题是，在某些情况下，同一个密钥集会启动多个reducers。我已经看到在不同的slaves上运行2个reducers来获取相同的密钥。这导致两个reducers更新db中的相同记录的问题。
我正在考虑关闭自动提交模式来缓解这个问题……但是在reducer中作为" cleanup“操作的一部分进行提交，但是想知道如何处理延迟的reducer behind...would清理操作仍然被调用that...if so....is有一种方法来判断reducer是否正常完成，因为我想调用"rollback”在没有完全处理
浏览 1提问于2011-05-17得票数 0
回答已采纳
irb(main):016:0> subject = Subject.new
=> #<Subject id: nil, name: nil, position: nil, visible: false, created_at: nil, updated_at: nil>
irb(main):017:0>
irb(main):017:0> subject = Subject.new(:name => "First", :position => 1, :value => true)
ActiveModel::MassAss
浏览 1提问于2013-02-14得票数 0
回答已采纳
我试着把每排7天的记录寄出去。这是我正在进行的配置，但即使查询在DB服务器上生成记录，它也无法工作。
{
"connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
"tasks.max": 1,
"mode": "bulk",
"connection.url": "jdbc:mysql://mysql:3300/test_db?user=root&password=pas
浏览 4提问于2019-10-18得票数 2
回答已采纳
我只是想得到一些帮助，弄清楚如何插入来自多选框的数据，这些数据被放入变量中，然后放入数据库中。
我的数据库表的结构如下-表：prd_attr
ID | Product_ID | name | value
-------------------------------
1 | 3 | size | large
2 | 3 | size | medium
假设我有一个名为sizes[]的多选框，管理员为输入数据库的产品选择2个尺寸。我可以在控制器中获取这些值，并将它们放入一个变量中：
$sizes = $_GET['sizes'];
并将该变
浏览 3提问于2013-02-13得票数 0
回答已采纳
我们有一项服务，每天有数百个同时连接，大约2000次，每天大约300万次点击，而且还在增长。对于每个请求，我需要将4到5个数据记录到MySQL，我们最初使用的是应用程序附带的日志记录，但是它的效率非常低，并且会以平均cpu负载的3倍以上的速度运行我的数据库服务器，最终会使服务器瘫痪。
在这一点上，我们将添加我们自己的日志到应用程序(php)中，记录数据的唯一选项是MySQL数据库，因为这是所有http服务器可用的唯一公共资源。这些数据将主要是写入，但是我们每天都会根据这些数据生成报告，然后对旧数据进行压缩和归档。
有什么建议可以确保我不会因为日志记录数据而关闭我们的服务？
浏览 0提问于2011-02-03得票数 2
回答已采纳
我正在尝试通过mysql查询(无连接)从表中删除超过200万条记录。该表有大约8000万条记录。
我使用的是set autocommit=0;，它需要很长时间才能完成。如果我使用autocommit=1运行查询，速度会更快吗
浏览 2提问于2013-03-19得票数 0
回答已采纳
3回答
MySQL慢插入
、、
我有一台MySql 8数据库服务器，在一台像样的spec游戏笔记本电脑上本地运行。当我尝试通过下面的代码在Java中插入存储在内存结构中的一些记录(500k)时，速度非常慢，我们讨论的最多可能是每分钟1000条记录。 我真的不知道在哪里寻找调试信息，或者我应该在这里提供什么指标来帮助回答这篇文章，所以如果你有任何指导或其他信息我可以提供，请一定要让我知道。 我暂时解决了这个问题，方法是将数据保存到内存中的H2数据库中，但实际上，我希望使用MySql工作台将数据持久化并在空闲时进行查询。 PreparedStatement ps = conn.prepareStatement(
浏览 46提问于2020-04-07得票数 0
我必须重新插入MongoDB中的记录。我使用了一个简单的逻辑，但它没有起作用。请帮我解决这个问题。
from pymongo import MongoClient
import json
import sys
import os
client = MongoClient('localhost', 9000)
db1 = client['Com_Crawl']
collection1 = db1['All']
posts1 = collection1.posts
ll=[]
f=file(sys.argv[1],'r')
for i
浏览 4提问于2017-05-04得票数 0
回答已采纳
是否有一个很好的方法来删除所有内容和网页提交的特定IP地址？我确信这可以用MySQL命令来完成，但我希望有一种比手工操作数据库更安全的方法。
谢谢!
Drupal 7.50公域
浏览 0提问于2017-01-23得票数 3
1回答
我正在尝试将我的130 S3的数据从S3导出到Auroa/MySql RDS。我有10个节点的10r4.4xlarge集群配置。“极光”开始了
Aurora : db.r3.2xlarge 8 CPU, 61 GB RAM)
此外，当我运行我的Sqoop命令时，我可以看到917个映射器被踢出。但是导出仍然非常非常慢，.It需要2个多小时才能加载所有数据。
下面是我正在尝试执行的Sqoop命令。
sqoop export \
--connect jdbc:mysql://a205067-pppp-ec2.abcd.us-east-1.rds.amazonaws.com/tprdb \
--use
浏览 1提问于2018-10-18得票数 0
如果记录中存在特定字段下拉值，则抛出错误，并在通过脚本进行批量编辑时限制用户。
我们在制造环境中使用我们的应用程序，我绝对不希望我们的前台员工能够编辑前台选项，如会计、库存跟踪等。反之亦然，我不希望我们的前台员工能够修改特定于我们的前台员工的选项。这不仅是为了防止出错，也是为了让程序简单易用。用户只看到他/她需要看到的内容，而不是一次看到所有内容。
无论如何，因为批量编辑不能被限制，所以我不得不禁用整个公司的批量编辑。他们感到沮丧的是，他们一次只能编辑一条记录。有什么办法可以解决这个问题吗？
浏览 10提问于2018-12-24得票数 0
我有一个存储纬度、经度、地址和自动生成的id的表。该表包含600,000条记录。我必须将唯一索引应用于lat-lon的组合。但是它花费了太多的时间，并且查询超时。查询为
ALTER TABLE `<db name>`.`<table name>`
ADD UNIQUE `latLonIndex`(`latitude`, `longitude`);.
我正在使用MySQL server 5.0。请给我一个建议。
此外，当前表具有一些重复的经纬度组合。因此，我不能应用唯一索引。请提出一个克服这个困难的方法。
浏览 1提问于2011-04-26得票数 0
回答已采纳
我的系统目前收到1600条记录。解析所有记录以创建查询，以将所有记录作为一个查询插入到数据库中。
我已经检查过解析需要大约1秒甚至更短的时间。但是，对于查询，处理时间大约为12秒。
以下是我的查询示例：
INSERT INTO `SAMPLE`
(`RECORD_NUMBER`, `ITEM`, `DESCRIPTION`)
VALUES
('1', 'Sample Item 1', 'test'),
('2', 'Sample Item 2', 'test'),
('3', &
浏览 12提问于2018-08-23得票数 0
1回答
当我有多个选择时使用crm如何更改(编辑)多个选择的记录？另外，有没有可能为访问多个编辑的不同用户设置权限？例如，当出现编辑多条记录页面时，超级管理员和用户将看到特定的字段。
浏览 0提问于2016-10-04得票数 0
我尝试把一些常用的数据从mysql放到redis服务器上。所以redis只是一个读服务器，我需要把数据从mysql移动到redis。有谁能推荐一个好的方法吗？我已经阅读了一些主题，并有一些思考分享
1、通过mysql触发器记录适当的数据，通过定时app移动数据到redis 2、读取mysql日志，分析后放入redis。
顺便说一句:在我的应用程序中，以redis格式存储的数据不需要实时，稍有延迟就可以了。
浏览 6提问于2012-05-21得票数 4
/beginnote此问题已标记为“重复”。它与引用的问题不同，因为在我的应用程序中，我不能使用LOAD in，因为输入文件的格式永远不会很好，所以我必须逐行读取它以测试有效记录。
另外:在我的工作代码中，我已经从mysql_更改为mysqli，并且我得到了相同的症状。
另外:我的主机提供商告诉我，我得到的浏览器错误(500或内容编码错误)不会出现在服务器日志中。
我想重新打开它，并了解如何解决问题。/endnote
我在火狐和Chrome浏览器中尝试将CSV文件中的记录插入MySQL时出现错误。CSV文件有300,000行。它将是“您试图查看的页面无法显示，因为它使用了无效或不受支持的压缩形
浏览 6提问于2017-08-23得票数 0
我有一个应用程序，它利用get服务来获取数据的基础上，并需要将记录插入到Sql Server数据库。它需要检查表中是否存在唯一键，如果存在，则更新记录，如果不存在，则插入记录。 我需要一个解决方案，如合并在oracle数据库中，以消除对重复记录的思考，并像批量插入，在EF中一次插入所有数据。 我使用了AddRange和SaveChanges，但它在DB中使用了几次插入和更新，这需要很长时间才能完成。
浏览 15提问于2019-06-19得票数 2
回答已采纳
1回答
作为我管理的mysql服务器之一，我们需要从AWS迁移到EC2()。因为mysql中的记录太多(使用mysqldump导出将花费7天)。我应该找到一个能减少停机时间的解决方案。我们已经尝试了AWS DMS服务，但老板要求我找到更多的解决方案，如批量出口。谢谢你的帮助。
浏览 0提问于2017-09-08得票数 0
3回答
我正在Telerik MVC网格上工作。我的要求是允许用户将多条记录插入到网格中。这应该在客户端完成。
在网格中输入几条记录后，用户将单击一个按钮，以便将所有记录插入到数据库中。
使用Telerik MVC网格可以做到这一点吗？
提前谢谢。
浏览 0提问于2011-02-11得票数 2
我有一个包含记录的数据表。我正在使用SqlBulkCopy.It works fine.Next时间将记录插入到Sql表中，当获取具有相同记录且几乎没有更改的值的数据表时，SqlBulkCopy正在插入另一组记录，而不更新以前的details.How我可以使用SqlBulkCopy更新Sql表吗?？请帮帮忙。
谢谢，Vix
浏览 1提问于2009-11-09得票数 9
在pentaho 4.4.0中使用"Insert/Update“步骤时，数据加载很慢
我使用的是pentaho 4.4.0。在水壶中使用“插入/更新”步骤时，与mysql相比，数据加载的速度太慢。此步骤将在插入之前扫描整个表中的记录。如果该记录存在，它将进行更新。那么，在执行“插入/更新”时，应该如何优化性能呢？而且处理速度是4r/s，所以我的记录总共将超过1lkh…整个过程需要两个半小时才能完成。
浏览 1提问于2014-01-07得票数 1
2回答
假设我有一个散列数组，如下所示 users_ar = [
{
id: 1,
name: 'Luke',
age: 19
},
{
id: 2,
name: 'Vader',
age: 44
},
{
id: 3,
name: 'Yoda',
age: 129
}
] id是他们在用户模型中的id。 如果我有数千条记录要更新，出于性能原因，我如何在ruby on rails中一次更新所有记录(如果我不需要验证记录)？ 我想按id查找现有记录，并更新名称和年龄。我在找这样的东西： u
浏览 43提问于2021-10-06得票数 0
我需要使用asp.net/C#读取excel表，并将所有记录插入到mysql table.The excel表中，该表由大约2000行和50列组成。目前，在读取excel记录时，我将使用准备语句一个接一个地将记录插入到mysql table.But中，由于数据量巨大，大约需要70秒才能这样做。
我还考虑过创建一个新的数据方式，为每个单元分配值，将得到的数据添加到datatable中，最后调用dataadapter.update(.).But--这似乎很复杂，因为我有大约50列，因此我必须将50个值分配给datarow。
能否有人建议，如果有一个替代方案，以提高插入的性能？
谢谢
浏览 1提问于2010-06-01得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
