php批量处理大文件 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

上传1个文件后，第0行的未知中已超过允许的最大文件上传数

php、linux

我知道这是一个与批量文件上传有关的问题，因为默认的php设置应该是20个文件。但是，当我尝试处理单个文件上载时，我得到一个空的$_FILES数组和一个错误它出现在日志文件中。服务器正在运行php版本5.2.9，即使我尝试在php.ini中设置max_file_uploads，也没有任何反应。

浏览 0提问于2012-05-24得票数 0

回答已采纳

1回答

在spark上处理一个大文件的方法

hadoop、apache-spark、hadoop2

当我在星火集群上处理一个大文件时，会出现内存不足的情况。我知道我可以扩展堆的大小。但在更一般的情况下，我认为这不是一个好方法。我很好奇把大文件分成成批的小文件是个不错的选择。因此，我们可以批量处理小文件，而不是大文件。

浏览 5提问于2017-03-24得票数 0

回答已采纳

1回答

一致性级别的未知代码#

cassandra、cql、cql3、consistency

我正在执行cql批处理，同时从一个大文件中读取数据，并且在每1000次迭代中，我准备一个批处理查询并执行。非常感谢！

浏览 1提问于2014-04-28得票数 1

1回答

多大的xml文件对PHP的SimpleXML来说太大了？它依赖于字节大小和节点的嵌套深度吗？

php、xml、parsing、size、simplexml

这是不是仅仅是增加了我在php.ini中的内存限制(我还不能这样做来测试它，因为我的服务器施加了最大值)？谢谢!

浏览 1提问于2017-10-10得票数 0

1回答

通过bigquery-python库向BigQuery插入大量数据

python、python-2.7、google-bigquery、large-data

我有很大的csv文件和excel文件，我在其中读取它们，并根据它所具有的字段和类型动态创建所需的create table脚本。然后将数据插入到创建的表中。我这样称呼它(适用于较小的文件，而不是较大的文件)。当我使用库的时，它在windows中给出了这个错

浏览 0提问于2016-08-16得票数 9

1回答

如何对大文件进行Spring批量记录分区？

java、spring、spring-boot、spring-batch

如何对大文件进行Spring批量记录分区？例如，如果我在文件中有100条记录，我需要提高spring批处理速度，每10条记录创建1个线程。该怎么做呢？因此不会对一个大文件造成性能影响。该怎么做呢？

浏览 29提问于2020-04-21得票数 0

1回答

在rails中批量上传大文件

ruby-on-rails、ruby、mongrel

Hii all，我想在rails中批量上传一些大文件(>6 7gb )，运行mongrel作为我的服务器.i能够上传7 7gb大小的大文件，但我正在一次上传一个文件..，我正在寻找一种情况，所有大文件我放在一个文件夹中，并上传该文件夹说文件夹大小是20 7gb ...谁能告诉我如何在rails中实现这一点？

浏览 0提问于2011-02-24得票数 1

回答已采纳

4回答

使用PHP的大文件上载选项

php、perl、file、upload

我一直在用PHP上传大文件时遇到问题。或者在php中有更好的方法(使用swfupload等)来管理大文件上传。你对此有什么想法吗？

浏览 0提问于2011-04-20得票数 2

1回答

对excel文件进行批处理和分块(Laravel Maatwebsite库)

php、excel、laravel、csv、maatwebsite-excel

根据，您可以使用批处理来加载文件。在大文件的情况下，您也可以分块数据。function($results) foreach($results as $row) // do stuff}); dd($row->firstname); 我有一系列的<e

浏览 0提问于2017-09-26得票数 1

1回答

ClickHouse复制不同步

database、database-replication、clickhouse

我有一个由3台ClickHouse服务器组成的集群，其中有一个使用ReplicatedMergeTree的表。其中两台服务器不同步，“system.replication_queue”中的队列数量不断增加。我可以在日志中看到这个错误。如何增加源部件的大小

浏览 7提问于2020-06-20得票数 0

回答已采纳

1回答

如何批量处理PHP？

php、xml

我使用PHP连接一个MySQL数据库和一个第三方应用程序接口。当使用下面的脚本时，我一直收到超时错误。我正在使用的API的所有者建议将每次调用限制为50条记录。我是PHP的新手，尽管我在谷歌上搜索，但我还是不知道如何进行批处理。脚本如下： if ($conn-invoicelinedetail&q

浏览 0提问于2014-05-18得票数 2

3回答

用PHP处理大文件

php、sorting、large-files、file-handling

我有一个大小约为10 GB或更大的文件。该文件每行只包含从1到10的数字，不包含其他任何内容。

浏览 5提问于2013-10-22得票数 0

5回答

使用缓存增强批量Groovy eval()

groovy

我正在写一个批量处理excel文件的程序。每一行的数据都被放到一个映射中，文件名和sheetname决定了处理获取的数据的脚本。这些脚本没有捆绑到我的程序中，它们甚至不是实现特定接口的类。这是处理循环逻辑： def data = extractData(); Eval.xy data, ou

浏览 0提问于2011-05-19得票数 3

回答已采纳

4回答

从远程客户端批量加载到PostgreSQL

postgresql、bulk-load

我需要将一个大文件批量加载到PostgreSQL中。我通常会使用COPY命令，但是这个文件需要从远程客户端机器加载。使用MSSQL，我可以安装本地工具，并在客户机上使用bcp.exe连接到服务器。如果不是，如果我不能首先将文件复制到服务器上，那么从客户端计算机加载大文件的推荐方式是什么？谢谢。

浏览 0提问于2010-08-31得票数 1

回答已采纳

2回答

用PHP上传大文件到FTP

php、file-upload、ftp

我正在尝试用php上传大文件到ftp服务器。我可以上传小文件，但我在上传大文件时遇到问题。echo "Uploaded $source_file to $ftp_server as $destination_file<br />";}我发现我不能从php而且，我没有访问php.ini的权限。我还能怎么改变upload_max_filesize的值呢？

浏览 1提问于2012-05-01得票数 2

回答已采纳

2回答

使用闪存上传器时，我需要更改任何php.ini设置吗？

php、linux

我是否必须更改上传程序的php.ini设置才能处理200MB之类的大文件？有什么预防措施可以确保我不会遇到DDoS攻击，或者确保人们上传的是真正的200MB最大文件大小？使用Cent OS 6，php 5.3

浏览 2提问于2012-08-25得票数 0

回答已采纳

1回答

上传大文件不起作用

php、video、upload

我需要做一个表单，上传一个文件到一个文件夹，它可以处理照片，甚至视频(或者无论如何，.mp4文件)。我怎么才能解决这个问题？在脚本上有什么<em

浏览 3提问于2017-08-12得票数 0

回答已采纳

1回答

亚马逊网络服务S3 PHP SDK批量上传数以千计的文件？

php、amazon-s3、aws-php-sdk

我似乎找不到任何PHP SDK的批量上传示例。PHP SDK是否提供了某种批量上传方法，可以更有效地处理它们？

浏览 10提问于2020-12-16得票数 0

1回答

Amazon的产品提要

c#、xml、amazon-web-services、amazon、amazon-mws

目前，我们一次只提交一种产品，打算稍后提交批量库存清单。他们的文档的确指出，服务器负载会对此产生影响(在高峰时期更如此)，但如果每种产品的上市时间最多可达12分钟，那么我担心需要多长时间才能将3000种甚至12000种新产品提交给一个批量经营的市场。

浏览 5提问于2014-11-06得票数 4

回答已采纳

1回答

PHP电子表格库

php、spreadsheet

我们目前正在使用PHP Spreadsheet_Excel_Writer库来生成基于excel工作表的报告。当我们试图生成包含20k-25k行的报告时，该库消耗了大量内存/时间。有什么建议可以使用哪个库来代替Spreadsheet_excel_writer来处理大文件？你知道PHPExcel在处理大文件时表现如何吗？

浏览 2提问于2010-10-18得票数 0

点击加载更多