上传行数超过750k的繁重CSV或Excel文件时出现问题

文章/答案/技术大牛

发布

1回答

php、excel、csv、import

我有大量的excel文件导入到我的MySQL数据库后，在PHP位处理。因此，我尝试了多个php库，用于Excel和CSV读取大数据集。但它们都面临着一个共同的问题，即在处理后读取多达170k条记录(每次运行时随机读取，如130k、150k或160k)。我处于最糟糕的情况下，我无法确定确切的问题是什么，这是停止进一步读取文件。我不认为有内存问题，或任何其他CPU的

浏览 9提问于2018-02-14得票数 1

1回答

太大，无法导入

google-sheets

我正在做一个案例研究来分析共享单车出行数据。我的计划是下载之前12个月的旅行数据。*特别是本页上的前12个.csv文件。我首先解压了感兴趣的文件。当我去谷歌工作表文件-导入-上传并选择我的.csv文件时，我遇到了一个问题。有些月份太大，无法进口。例如，202103-divvy-tripdata.csv

浏览 1提问于2021-07-30得票数 0

3回答

excel表格中CSV数据的最大行数

excel、csv

众所周知，Excel工作表最多可以显示100万行。csv数据是否有行限制，即Excel是否允许csv格式超过100万行？还有一个问题:关于这个100万行的限制；即使Excel最多只能显示100万行数据，它还能容纳超过100万行数据吗？

浏览 9提问于2014-05-20得票数 45

回答已采纳

2回答

无法将所有行从foxpro导出到excel？

excel、visual-foxpro、foxpro

我试图从foxpro中导出表到excel，但它没有从foxpro中导出所有行。我正在使用Microsoft Visual Foxpro 9.0

浏览 7提问于2011-08-12得票数 2

回答已采纳

1回答

错误: 413请求太大- Python带有可恢复的MediaIoBaseUpload请求

python、python-2.7、google-drive-api

这似乎遵循了找到和的其他示例中可用的文档模式，但是在下面的代码示例中这个问题没有得到解决。在这里，似乎有更多的故事..。1c7nxkdgHSnL0eML5ktJcsCRVfEsBD0gc']media = MediaIoBaseUpload(BytesIO(file_contents), mimetype='text/csvfields=id&alt=json&uploadType=resumable returned

浏览 0提问于2018-10-31得票数 2

回答已采纳

4回答

数据摄取:将动态文件从S3加载到雪花

python、amazon-web-services、lambda、snowflake-cloud-data-platform、matillion

马蒂尔利是我们的ELT工具。设置一个Lambda来检测文件的到达，将其转换为JSON，上传到另一个S3 dir，并将文件名添加到SQS。当我使用一个大于1GB的完整文件运行这个文件时，就会出现问题，该文件的行数超过10M。它在运行时使用磁盘外空间错误使lambda作业崩溃。到目前为止，我想到了以下

浏览 1提问于2021-01-26得票数 1

3回答

如何在Excel中获得64k行的限制

excel

首先，我想给用户一个.csv文件，以某种方式粘贴到电子表格中。首先，尝试这样的事情有实际意义吗？(例如，一个电子表格函数--只有一个函数--能在合理的时间内完成所有这些行的操作吗，比如10秒？)如果是这样，并且考虑到MS Excel似乎强加了64K的行限制，那么在这个巨大的表格上为用户提供电子表格功能的一些技术可能是什么呢？

浏览 4提问于2011-08-19得票数 3

回答已采纳

1回答

尝试将Excel中的区域导出为仅包含数据的单元格的CSV

excel、csv、vba

大家下午好，我正在构建一个excel工作表，供我的同事用来生成CSV文件。我需要得到一个输出与标题行，然后从工作表的所有数据。它的行数不会超过40行，但可以减少行数。我目前在工作表中有很多公式，为我的同事做繁重的工作，比如从输入数据生成用户名等。我需要让他们点击一个按钮，然后在另一端获取CSV文件。我目前的问题如下。1.)我<

浏览 1提问于2016-08-01得票数 0

1回答

当我在mapbox gl js中点击地图上的多边形时，我必须使用geojson文件来获取数据吗？

mapbox-gl-js

我在excel中有16,000行数据。在这个excel中，我有。我想要实现的是，我想为这些块号创建一个地图层。然后，如果我单击一个多边形，块编号的信息将显示在弹出窗口中，如哪个州、哪个县等。我必须为此使用geojson文件吗？因为，mapbox中的许多示例都使用了geojson。但我没有这些块号的坐标，16,000行对我来说真的很大。我只有区号。但是我得到了整个州的shapefile，numbers.It太大了，无法上传</e

浏览 3提问于2019-02-02得票数 0

2回答

将1500 xls电子表格文件合并为一个的软件

gratis、file-management、microsoft-excel、file-merging

有人能帮我找到如何最好地合并1500匹配的电子表格进行分析吗？它们有相同的列，在同一个文件夹中。我可以访问Access，Excel，SharePoint，Word，Informatica，Eclipse。任何其他建议都必须是免费的(免费的)，或者进行免费的合并试验。这样做的目的是为了在导入CRM之前清理数据并验证质量。哪个软件能做到这一点？

浏览 0提问于2014-11-17得票数 5

回答已采纳

1回答

微软ReportViewer超过65536行？

reportviewer、asp.net-4.0、report-viewer2010

当我将数据导出到excel (并且有超过65536行)时，我会得到一个错误。我想这与旧的/新的Excel文件格式(BIFF或其他任何东西)有关。我想如果你能出口到XSLX，它会解决这个问题。在这里，错误msg："Excel呈现扩展:以这种格式每张表的行数超过可能的最大行数；请求的行数: 28

浏览 1提问于2012-01-23得票数 0

回答已采纳

1回答

将DSV转换为CSV

python、r、excel、csv

我有一个带有“}”分隔符的.dsv文件，并希望加载一个.csv或.txt文件，以便进行数据可视化。实现同样目标的最快和最简单的方法是什么？使用较小的文件大小，它可以加载到Excel表上，但我的文件大小超过7 GB，需要更强大的工具。谢谢

浏览 5提问于2020-07-02得票数 1

回答已采纳

1回答

Ajax加载程序对文件上载操作

ajax、file-upload、symfony1

我想将某种ajax加载程序配置为执行文件上传的操作。一旦文件相当大(Excel的行数超过2000行)，就需要花一些时间来处理，它对用户来说很不愉快，除了浏览器显示的反馈之外，不要其他任何反馈。对我来说，理想的解决方案是一个阻塞弹出，显示一条“处理文件.”的消息。(或诸如此类的东西)，以防止用户同时上传另一个文件

浏览 2提问于2010-12-02得票数 0

1回答

将百万行电子表格上传为Google电子表格的最佳方式是什么？

google-sheets、google-apps-script、google-drive、google-docs、microsoft-excel

我有一个Excel电子表格，它的行数超过一百万行，我想把它作为Google表。谷歌工作表能访问我的硬盘驱动器吗？有什么代码我可以写在谷歌单张上一次上传</em

浏览 0提问于2021-01-23得票数 -1

2回答

用于编写excel2007工作簿的perl模块

perl、excel、cpan

我从一个工具中提取了一些重要的数据并编写了一个excel文件，从中我得到了一个巨大的报告。到目前为止，我使用的是Spreadsheet::WriteExcel模块，但当行数超过65535行时，它就会崩溃。有没有其他的模块可以支持海量数据的excel生成？我检查了CPAN，找到了用于读取excel2007文件的模块，但找不到一个用于写入的<

浏览 5提问于2011-03-03得票数 3

回答已采纳

1回答

mysql中csv大容量插入的限制

php、mysql、csv

我有一个csv文件上传的功能。如果csv有近30k行，则功能正常。但是当csv文件的行数超过30k时，大容量插入就不起作用了。下面是我读取csv和插入到表中的代码。feof($csvfile)) $csv_data[] = fgets($csvfile, 1024); $csv_array = explode

浏览 0提问于2017-12-15得票数 0

2回答

将具有超过1024列的csv文件导入新的Server表

sql-server、large-files、import-csv

我正在尝试将CSV文件中的数据上传到Server中，Server大小为2GB，列数超过10000列。请告诉我如何在Server中加载超过1024列的数据。“失败，但有以下错误： “创建表失败，因为表'Test‘中的'B19037Dm38’列超过了1024列的最大值。”可能的失败原因:查询出现问题、"ResultSet“属性未正确设置、参数未正确设置<e

浏览 2提问于2019-02-12得票数 2

3回答

处理包含大型CSV文件的文件夹

python、vba、matlab、csv、ms-access

我有一个包含大型CSV文件的大文件夹(该文件夹中大约有25,000个文件，而且还会进一步增加)，也就是说，几乎所有文件的行数都超过了Excel的行数限制(我想限制在100万左右)。所有这些CSV文件在每一行都有5个由逗号分隔的元素，所有文件中的行数(info

浏览 20提问于2017-02-16得票数 1

回答已采纳

1回答

如何使用openoffice打开excel文件并将其保存为csv

ruby-on-rails、excel、csv、command-line、openoffice-calc

我需要自动打开excel文件，并将它们保存为csv文件，以供红宝石应用程序使用。csv文件必须使用UTF-8编码，以便在UNIX计算机上读取它们时不会出现问题。通过在mac上打开办公室并将其保存为csv，我手动地添加了这一点。然后上传到我的rails应用程序。但是我想让这个过程自动化，我想知道我可以从哪里开始寻找这个。我看过这里，但并没有看到很多有用的细节可以开始。

浏览 4提问于2013-12-11得票数 0

回答已采纳

1回答

将大型Excel文件转换为CSV

python、excel、csv、openpyxl、xlrd

在我的应用程序中，从繁重的csv文件中提取数据并将其上传到dataabse中，我也需要从excel文件中导入数据。为此，我首先使用xlrd将excel文件转换为csv，它对小文件非常有效，但在转换大文件时需要花费大量时间。当我给出一个包含6个工作表的文件，每个工作表有1m行时，我等待了40分钟才终止这个过程，因

浏览 0提问于2017-11-13得票数 1

点击加载更多