在CI中使用load data InFile上载500000条记录，但有时并未插入所有记录
。
这个问题可能是由于以下几个原因导致的：
- 数据格式问题：首先，确保你的数据文件格式正确，与数据库表的结构匹配。检查数据文件的分隔符、列的顺序和数据类型是否与表定义一致。
- 数据库权限问题：检查你的数据库用户是否具有足够的权限执行load data InFile操作。确保你的用户具有文件读取权限和插入数据的权限。
- 数据库配置问题：有时，数据库的配置可能会限制load data InFile操作的大小。你可以检查数据库的配置文件，如MySQL的my.cnf文件，查看max_allowed_packet参数的值是否足够大以容纳你的数据文件。
- 事务处理问题：load data InFile操作默认是在一个事务中执行的。如果在插入过程中发生错误，整个事务将被回滚，导致部分数据未插入。你可以尝试将load data InFile操作放在一个单独的事务中，以便在插入错误时能够部分提交已插入的数据。
综上所述，解决这个问题的关键是确保数据文件格式正确、数据库用户具有足够的权限、数据库配置允许大数据量的插入，并且正确处理事务。如果问题仍然存在，建议查看数据库的错误日志以获取更多详细的错误信息。
腾讯云相关产品推荐：
- 云数据库 MySQL：腾讯云提供的高性能、可扩展的关系型数据库服务，支持海量数据存储和高并发访问。详情请参考：云数据库 MySQL
- 云服务器 CVM：腾讯云提供的弹性计算服务，可快速部署和扩展应用程序。详情请参考：云服务器 CVM
- 云存储 COS：腾讯云提供的安全、稳定、低成本的对象存储服务，适用于存储和处理大规模的非结构化数据。详情请参考：云存储 COS
相关·内容
我正在上传500,000条记录使用加载数据InFile在CI中，但有时所有记录插入或有时数千条记录没有插入到同一个csv文件中。$file_path = "/var/www/html/asset/test_csv/5Lac.csv";
$sub = $
浏览 3提问于2018-08-16得票数 0
1回答
我有一个使用cvs importer向mysql插入数据的函数，原始代码如下： $sql = "LOAD DATA INFILE '"."`)"; $this->error = mysql_error();我的问题是，如果只需要将记录更新到该表，而不重新插入新记录，我该如何做到这一点，因为我想
浏览 1提问于2012-09-07得票数 0
1回答
在添加到数据库之前，数据应该是checked.There，三列的项应该是unique.So --I创建一个HashMapper(HashMap Map)来恢复数据库中已经存在的数据。for loop: if (data == null) {data=(Object)Map.get(ip2);
if(data==n
浏览 1提问于2016-08-23得票数 2
1回答
我使用LOAD数据本地INFILE命令在mysql db中上传大的csv文件。该字段是mysql表中的一个整数，因此它只接受整数。现在，如果csv文件包含如下数字，那么我的csv文件的work.The格式是"322""211"
所以它在表中插入0。但是，如果csv文件不包含双引号，那么就可以了。我如何告诉"load data infil
浏览 2提问于2014-06-23得票数 1
回答已采纳
2回答
$this->db->query("LOAD DATA LOCAL INFILE '".$file_path."'$csvsheet_id上面的代码用于将CSV的数据插入到数据库中，但我想从CSV中更新数据库的现有记录。那么，我如何修改查询，使其能够用于更新记录。
浏览 0提问于2018-10-03得票数 0
3回答
我正在将数据从本地文件上传到服务器中的MySQL数据库中。因此，我使用以下命令：use rest_db;但是当我检查本地PHPMYADMIN的记录时，我发现这些字段
浏览 2提问于2014-12-30得票数 0
回答已采纳
2回答
我的档案里有两百万条记录。我正在尝试将所有记录插入到我的表中。我对我应该使用哪种方式非常复杂。LOAD DATA INFILE或hibernate begin transaction。如何快速插入所有数据？对不起，我的英语不好。
浏览 0提问于2015-10-01得票数 0
我正在尝试使用LOAD data LOCAL INFILE命令将文本文件中的数据插入MySQL。但是，当我使
浏览 0提问于2018-05-25得票数 2
我正在尝试将大量数据上传到MariaDB数据库中。该数据文件有超过3M条记录。当SQL运行LOAD DATA INFILE (见下文)语句时，我在插入数据时出现了9600多条警告，其中大部分是针对Incorrect decimal value: '' for column 'xxxLOAD DATA语句为：
LOAD DATA LOCAL INFILE
浏览 1提问于2017-12-09得票数 0
我正在尝试从文本文件中批量上传到MySQL数据库。首先，我将文件中的所有数据加载到临时助手表(temp_rules_upload)中，在批量上传后删除该表。然后，我希望将临时表中的每条记录都插入到两个单独的表中(table_a & table_b)，用于少数选定的列。问题：-
它首先在table_a中插入所有数据，然后在table_b中</em
浏览 1提问于2019-07-01得票数 0
在从CSV文件导入数据时使用"load data local“，我面临着一个问题。当某些记录中存在约束问题时，整个记录无法插入。我用过：} echo "Success execute";但它一直在终止查询。我希望做的
浏览 2提问于2012-04-27得票数 0
14回答
计算插入到数据库中的新记录的最简单方法是什么？是否可以在load查询中包含计数查询？我有一个cron作业，它在直接传递给mysql的脚本中使用LOAD DATA INFILE。此数据与php web应用程序一起使用。作为php web应用程序的一部分，我需
浏览 0提问于2009-06-30得票数 3
1回答
我在asp.net页面中有一个带有复选框列的网格视图。我需要将网格视图中选中的那些行插入到mysql表中。有没有办法加快插入大量行的速度？
谢谢，Balaji G
浏览 1提问于2013-02-28得票数 0
用户可以将此项目表中的项目放入其库存中。我将其存储在inventory表中，如下所示： id user_id
库存表插入1000行可以吗？插入1000行的最佳方式是什么？
浏览 1提问于2011-12-19得票数 4
2回答
它创建新表等，但是在插入查询一段时间之后，执行插入查询所需的时间越来越长。
例如，每一个~1700条记录控制台输出这个查询堆栈的结果和时间消耗。在开始做~1700，mysql花费了~0.3秒。
浏览 1提问于2015-08-25得票数 0
我有一个用于插入多行的INSERT语句：使用MySQL函数LAST_INSERT_ID()可以检索生成的AUTO_INCREMENT列的主键，但是如何检索插入到一个惟一的SQL INSERT指令中的第(1,2,3)、(4,5,6)和(7,8,9)行的主键呢？
浏览 7提问于2013-03-29得票数 1
回答已采纳
1回答
表: ID int not null主键auto_increment number int not null uniqueLOAD DATA LOCAL INFILE 'file.txt‘IGNORE INFILE’file.txt‘IGNORE INFILE LOAD DATA LOCAL INFILE’number‘INFILE INFILE LOCAL INFIL
浏览 3提问于2014-05-29得票数 0
2回答
我有一个MySQL表，其中包含大约200万种产品的一堆产品定价信息。每天，我都要为那些价格信息发生了巨大变化的产品更新这些信息。我喜欢你能提供的任何建议
浏览 29提问于2012-03-28得票数 2
2回答
脚本的工作方式如下:它连接到FTP服务器并镜像一个目录以获取生成的所有新文件，然后将所有CSV文件保存到一个单独的文件中，然后从这个更大的CSV文件中上传数据。基本上，我正在寻找一种方法，如果表中已经存在第一条记录，SQL*Loader甚至都不会尝试插入记录。问题是，该表将保存多达1000万条记录，有时这些文件在不应该下载时会错误地下载，这意味着一些记录将重复。
我在需要它的两个字
浏览 0提问于2017-10-23得票数 0
回答已采纳
我有一个csv文件，它包含一些行，我想使用MySQL MySQL命令将这些行插入到一个MySQL表中。当我使用该命令，插入准备就绪时，插入的特殊字符都会乱七八糟。该表是一个InnoDB表，排序规则设置为utf8_general_ci。我使用以下参数从LOAD DATA INFILE命令行运行MariaDB命令：
LOAD DATA INFILE
浏览 1提问于2016-04-25得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
