1回答
所以我读到，当上传或其他数据超过POST数据限制时，php会清除$_POST变量。因此，如果用户上传一个被php/apache拒绝的非常大的文件，他们的表单字段将被清除，您将无法重新填充它们。有没有办法绕过这个问题？这是php的问题还是apache的问题？
浏览 3提问于2011-10-04得票数 3
回答已采纳
1回答
我刚接触超集，想知道是否有任何方法可以使用apache超集在大型查询中执行数据流？目前，我已经用大查询在apache超集中建立了数据库，但是当我在bigquery中使用SQL命令更新表数据时，它不会反映在超集中。有没有办法将数据流传输到超集？
浏览 11提问于2020-04-22得票数 0
当处理减速器时出现以下错误时，大容量负载发生故障。我们正在M5集群上运行mapreduce，试图更新一个m7表。
java.io.IOException: bulkLoaderClose() on '/home/test/account122' failed
with error: Function not implemented (38).
at com.mapr.fs.Inode.checkError(Inode.java:1611)
at com.mapr.fs.Inode.checkError(Inode.java:1583)
at com.mapr.fs.Ino
浏览 8提问于2015-12-29得票数 0
回答已采纳
1回答
我将使用Apache Spark来处理大文本文件，其中在处理周期中，将文本部分与来自大型SQL表的数据进行比较。
任务是：
1) Process files and break text into pieces
2) Compare pieces with database ones
当然，瓶颈将是SQL。我对Apache Spark完全陌生，虽然我确信Subtask #1是“他的人”，但我不能完全肯定，Subtask #2是否可以由火花(我的意思是说，以有效的方式处理)。
问题是Spark如何处理大SQL中的可迭代选择(也许，尽可能多地缓存？)在并行和分布式环境中？
浏览 3提问于2015-03-05得票数 0
回答已采纳
如何将源列重命名为目标列名，同时使用python SDK将大查询中的数据读取到apache rename中的PCollection中
浏览 3提问于2021-02-05得票数 0
最近，我使用hadoop批量加载将数据放入hbase中，首先，我调用hdfs将数据写入hadoop中的文件中，总共有7,000,000行数据，大小为503 to。其次，我使用org.apache.hadoop.hbase.mapreduce.ImportTsv和org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles将数据放入hbase中。
我所做的最重要的事情是使用大容量工具将数据放入hbase中，在完成大容量加载之后，我发现hbase表是1.96GB。hdfs复制为1，我不知道为什么。
浏览 5提问于2012-12-13得票数 3
1回答
Derby SQL脚本大容量导入
、、、、
我的目标是将数据导入德比数据库。数据是以SQL的形式从MySQL实例中提取的，我处理了一个脚本，我只使用insert-语句，并且正确地将MySQL特定语法的转义转换为Derby。为了测试，我使用了derby插件：
导出MAVEN_OPTS=-Xmx2048m；mvn德比:run
在第一步中，我在derby实例中创建了模式(使用来自DDLUtils的MySQL，这很好)。第二，我尝试导入数据。我在命令行上使用ij，脚本如下(简写)：
CONNECT 'jdbc:derby://localhost:1527/foodmart';
SET SCHEMA APP;
autocommit
浏览 5提问于2013-12-15得票数 0
回答已采纳
2回答
apache文档中的所有过滤示例都会根据全局阈值显示过滤的简单情况。
但是，如果对条目的筛选应该考虑到以前的条目，怎么办？
假设我们有一个传感器数据流。如果当前传感器数据条目比前一个条目大X%，我们需要丢弃它。
有什么简单的解决办法吗？无论是在Apache中还是在普通Java中。
谢谢
浏览 4提问于2021-04-30得票数 0
回答已采纳
1回答
我要建一个网站。这是一种允许全球用户访问的杂志。数据可能会变得非常大。我使用mySQL数据库作为核心数据库来执行读/写操作，例如添加新用户、添加新文章等等。由于核心数据库中的数据可能非常大，我正在考虑使用Apache作为只读数据库(反正我使用Solr作为搜索引擎)，以便每次用户查看文章、用户配置文件等时读取数据。
这在实践中是一个好方法吗？利与弊是什么？
浏览 3提问于2013-08-31得票数 0
回答已采纳
我有一大串base64图像数据(大约200K)。当我试图通过输出带有正确标题的解码数据来转换数据时，脚本死了，就好像没有足够的内存一样。我的Apache日志中没有任何错误。下面的示例代码适用于小图像。如何对大图像进行解码？
<?php
// function to display the image
function display_img($imgcode,$type) {
header('Content-type: image/'.$type);
header('Content-length: '.strlen($img
浏览 1提问于2011-03-22得票数 2
1回答
Apache的大O时间复杂度是什么？
我试图根据特定的顺序将行号分配给RDD。
假设我有一个{K，V}对RDD，我希望使用
myRDD.sortByKey(true).zipWithIndex
这个操作的时间复杂度有多大？
掩盖下发生了什么？泡泡类？我真希望不是这样!我的数据集非常大，并且跨分区运行，所以我想知道sortByKey函数是最优的，还是在分区内执行某种中间数据结构，然后跨分区进行优化消息传递，或者什么。
浏览 2提问于2015-08-20得票数 5
回答已采纳
3回答
我有一个php web应用程序，它使用大cookie来存储大量用户数据。如果我在apache服务器上设置mod_gzip，它会只压缩页面内容还是也会压缩cookie？
浏览 5提问于2009-09-04得票数 5
回答已采纳
1回答
删除中的空行
、、
当我将相当大的数据集(即维基百科的档案)加载到火花数据格式中时，我收到了以下错误：
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
... 1 more
Caused by: java.lang.NullPointerException
at org.apache.spark.ml.
浏览 1提问于2018-10-21得票数 0
3回答
我想在Spark数据集上循环，并根据每行的特征将特定值保存在Map中。我是Spark和Scala的新手，所以我加入了一个简单的例子来说明我在python中要做的事情。
python中的最小工作示例：
mydict = dict()
for row in data:
if row['name'] == "Yan":
mydict[row['id']] = row['surname']
else:
mydict[row['id']] = "Random
浏览 15提问于2019-10-22得票数 0
回答已采纳
4回答
如何使用Apache POI高效地导入CSV数据？如果我有一个非常大的CSV文件想要存储在我的Excel电子表格中，那么我不认为逐个单元格导入是最好的方法...？
浏览 17提问于2009-04-06得票数 14
为什么Plone data.fs文件这么大，会影响性能吗？
在我们当前的网站上，文件超过8GB。我最近在一个遗留的Plone 3安装上接管了这个项目，数据库上有巨大的性能瓶颈。
我的第一印象是8GB很大.？
没有存储大文件。
数据库的性能可能为：
有一个宙斯星团，
负载平衡与apache
8核心vCPU服务器，16 ram内存
任何缓存的页面(apache层)都是闪电，其他的则非常慢。
更新
之后，提出以下建议并进一步调查。以下是来自服务器的一些统计数据：
内存使用情况 15792/16045 <--哎哟？
AVG 300-400%，
浏览 6提问于2016-05-03得票数 1
背景：
我有机器对机器的通信系统，客户端不时地将数据发送到Apache。通信速度慢，因为移动2G用于通信。Apache使用mod_wsgi (用于Django)。
由于客户端在通信启动时不知道实际数据量，所以在客户端和服务器之间使用分组传输编码。由于mod_wsgi不支持分组传输编码，所以我使用mod_proxy，它接收块并将它们作为单个请求传递给mod_wsgi，在接收到所有数据时添加内容长度信息。
问题：
我将服务器上的Ubuntu从16.04更新到18.04，之后客户机和服务器之间的一些通信开始失败。从Apache的access.log中我可以看到，服务器用“大”数据响应客户端408。这
浏览 0提问于2020-11-03得票数 1
回答已采纳
1回答
浏览器正在等待symfony主页的最大保持活动时间。
如果我禁用Keepalive (apache)，就没事了。接收响应头"Connection: Close“，浏览器停止等待。总时间接近200 is。
如果启用Keepalive (apache)，则报头响应如下：
连接:保持-活着
保持活力: timeout=5，max=500
传输-编码:分块
没有“Content-Encoding”标题
没有“content-length”标题(保持活着)
Php.ini：
output_buffering = 4096
我在远程服务器上使用php。下面是apache配置：
f
浏览 1提问于2019-02-18得票数 2
我想阅读大容量excel数据，其中包含800 k记录和230列。我已经用火花和熊猫的数据读取数据，但当我使用火花数据框架读取数据时，我得到以下信息。
消息:火花驱动程序意外停止并正在重新启动。您的笔记本将自动重新连接。
我使用了下面的代码使用火花。
df=spark.read.format("com.crealytics.spark.excel").option("useheader","true").option("treatEmptyValuesAsNulls","true").option("
浏览 1提问于2019-06-04得票数 0
我使用的是带有MS SQLServer 2012的Apache Spark 1.3.0。数据库非常大，在服务器启动时将其加载到RDDs中需要花费大量时间。我现在正在尝试将数据库表转换为XML o JSON格式，并在应用程序中以RDDs格式加载这些文件，以减少服务器启动时间。
SQL Server直接支持表到XML的转换，所以我更喜欢XML。
有没有办法通过Java API将XMLs加载到Apache Spark中的RDD格式？
如果有人知道答案，请帮忙。
浏览 1提问于2015-07-04得票数 0
我使用Apache Drill从不同的数据源查询数据，如果数据非常大，我想流式传输数据，但我得到的响应体是JSON对象。如何在Apache Drill中执行此操作。代码如下：
function executeQuery(req, res) {
log.info("entering executeQuery");
//var key = req.query.key;
if (!_.isEmpty(req.body)) {
var queryString = req.body.query;
log.info("queryString: :
浏览 3提问于2017-11-03得票数 0
我想编写一个管道来从数据存储中迁移一些数据并将其导出到一个csv中。出于这个原因，我正在考虑做：
从数据存储读取
将实体转换为python字典(不确定正确性)
写入大查询
从大查询导出到csv
我编写了这段代码，但我不确定我的想法是否正确，也不确定最后一步到底需要写什么。相反，有什么直接的方法从Datastore获得csv？
from google.cloud import datastore
from google.cloud.datastore import query as datastore_query
from apache_beam.io.gcp.datas
浏览 14提问于2022-11-03得票数 0
2回答
我有大约20 in的时间序列数据存储在大查询中。
我目前的管道是：
大查询=>中的原始数据加入大查询以创建更大的查询数据集=>将它们存储在桶中
然后我在桶中下载了一个文件的子集：
使用Python/SFrame对数据进行插值/重采样，因为有些时间序列数据缺少时间，而且采样不均匀。
然而，在本地PC上需要很长时间，我猜需要几天的时间才能通过20 to的数据。
既然数据已经在桶里了，我想知道谷歌最好的插值和重采样工具是什么？
在重新采样和插值之后，我可能会使用Facebook的先知( Prophet )或自动阿里玛( ARIMA )来创建一些预测。但这将是在当地完成的。
谷歌提供的
浏览 3提问于2018-04-13得票数 1
回答已采纳
新手问题:如何阻止我的apache错误日志文件被SOAP XML请求和响应填满？据我所知，这些都不是错误，一切都在工作，唯一的指示是时间戳后的“fine...the”。它们包括图像数据，因此它们可以非常大。
浏览 0提问于2013-04-20得票数 0
回答已采纳
2回答
哪个谷歌云存储最适合我的数据
、、、、
我正计划将我的整个系统迁移到google云平台。目前，我正在运行mysql、apache、nodejs和角js的组合。随着数据呈指数增长，Mysql的速度越来越慢。系统处理大数据分析。我需要具有最短查询时间的IO密集型数据库。目前，我已经构建了mysql数据库，并且根据应用程序的要求，我需要非常频繁地查询数据以获取分析数据和原始数据。Google建议我使用Cloud，但是没有任何服务方面的经验，我对此并不确定。
请为我的应用程序推荐最合适的google，包括云扳手、云sql、云数据存储、大查询和云大表。
如有任何建议，将不胜感激。
PS:我正在考虑使用google计算引擎。
浏览 4提问于2017-08-11得票数 1
回答已采纳
1回答
当我试图解串行化一个大的数据(7700KB)从php apache给分段错误和在浏览器控制台我得到这个错误未能加载资源: net::ERR_INCOMPLETE_CHUNKED_ENCODING.How我可以找出数据的哪一部分是导致分段错误或我该如何避免分段错误。谢谢!
浏览 4提问于2014-12-12得票数 0
我最近买了一台新的笔记本电脑，并且正在克隆我的公司的代码库以继续开发。我已经设置了apache、php、apache指令等。现在，我转到站点的登录页面(localhost)，用户凭证(从预先保存到数据库中的fixture中得到的是正确的)显示不正确的用户名/密码。我意识到有一大堆问题可能会导致这种情况，但我想知道是否有mysql特定的问题，我应该首先检查，以确保我可以登录的用户从数据库。
浏览 2提问于2015-08-02得票数 0
我有两个文件。一个大的有普通数据的，一个有分隔成行的模式的。
如何使用map减少算法计算大文件中的所有模式，特别是在使用python的Apache Spark引擎中。
DataFile：
ABCDEFABCDERFADACCABCDEABA.....
PattenFile：
ABC
BCF
CDE
浏览 1提问于2016-01-21得票数 0
回答已采纳
在主题中:我找不到任何好的信息，Hazelcast是否支持将JSON对象存储为缓存数据？如果允许，是否允许基于某些JSONPath/JPQL/SQL类表达式查询此类对象？
我可以看到Apache (GemFire)确实支持这样的功能：和我想知道大对手是否也能这样做。
浏览 0提问于2016-01-05得票数 0
回答已采纳
1回答
最近，我将我的数据流apache管道更新为最新版本，我的管道编写了大量的数据。apache版本更新前的管道从2.27到2.41大约需要8分钟才能完成执行，而更新后则需要30分钟以上才能完成执行。
更新之前的
更新后的
在更新管道版本之前，没有显示Enforce ramp-up through throttling步骤。
更新：，如版本2.32.0中的中所提到的：
DatastoreIO:按照最佳实践(Java/Python)，编写和删除操作现在遵循自动渐进式提升。
在这里，我认为书面延迟发生是因为这个更新！
浏览 15提问于2022-11-01得票数 1
回答已采纳
我有一个很大的json，当它超过5kb时，它会抛出异常
java.net.SocketException: Connection reset at java.net.SocketInputStream.read(SocketInputStream.java:168) at
org.apache.http.impl.io.AbstractSessionInputBuffer.fillBuffer(AbstractSessionInputBuffer.java:149) at
org.apache.http.impl.io.SocketInputBuffer.fillBuffer(
浏览 0提问于2013-02-27得票数 0
在将Apache站点从RHEL 5迁移到CentOS 5时，我注意到中国传统(大5)字体在旧站点上看上去很好，但在新站点上却被混淆了。
在火狐中，我可以通过单击View ->字符编码->并将"Unicode (UTF-8)“更改为”中国传统(大5)“来正确显示字体。
我如何告诉Apache正确设置字符编码？
浏览 0提问于2011-10-28得票数 0
回答已采纳
我正在开发一系列将作为微服务部署的应用程序。每一个都有一个单独的数据库，我希望通过一个统一的事件存储/日志来协调数据，就像Apache Kafka一样。我已经开始尝试Kafka，大多数用户似乎都在相当大的规模上使用kafka集群和相当复杂的容错设置。我们最初并不期望拥有特别大的容量，所以我想知道Kafka是否是正确的选择？这是一个很好的适合kafka，或者我应该考虑轻量级的替代方案，鉴于我们目前的规模。
浏览 4提问于2015-04-22得票数 4
在执行连接以解决"java.util.concurrent.TimeoutException: Futures .“之前，我正在尝试持久化两个非常大的数据帧。发行(参考文献：)。
仅Persist()就能工作，但是当我试图指定存储级别时，我会收到名称错误。
我试过以下几种方法：
df.persist(pyspark.StorageLevel.MEMORY_ONLY)
NameError: name 'MEMORY_ONLY' is not defined
df.persist(StorageLevel.MEMORY_ONLY)
NameError: name &#
浏览 3提问于2019-11-22得票数 1
回答已采纳
我们需要用一维向量来乘一个大矩阵。大矩阵是稀疏的。在第二个场景中，我们需要乘两个大型矩阵，它们都是稀疏的。在第三种情况下，我们需要乘两个大矩阵，它们都是稠密的。
Apache似乎为矩阵(包括稀疏矩阵的专用数据类型)提供了内置的数据类型，并为矩阵线性代数(乘法、加法、换位等)提供了一组非常丰富的库。
在上述三种情况下，如何在Google上高效地进行矩阵乘法(或矩阵的其他线性代数运算)？
浏览 0提问于2016-03-23得票数 1
我的问题是文件传输风格的企业集成，它真的值得使用EIP框架，如Apache？谢谢你的建议。
要求:大尺寸的类似csv的结构文本文件；在将它们存储到数据库之前会进行一些转换。在这里，表演可能是个问题。
浏览 1提问于2014-10-01得票数 0
回答已采纳
1回答
当使用Apache处理一个大文件时，比如使用sc.textFile("somefile.xml")，它是将其拆分为跨执行程序进行并行处理，还是会在单个执行器中作为单个块处理？
在使用dataframes时，使用Databricks中的implicit XMLContext是否有为这样大的数据集处理预先构建的优化？
浏览 3提问于2016-09-03得票数 0
1回答
我在Windows Sever 2003下运行Apache 2003服务器。
我注意到我的日志文件比100MB大。如果我想象一下，Apache总是必须打开这个文件，跳到它的末尾，添加一个新行，然后再次关闭它，这似乎是一个保持这个日志小的好主意。
但是这个问题/可能的性能不足真的那么大吗？
浏览 1提问于2011-09-23得票数 2
回答已采纳
我有一个用例，其中apache flink进程必须集成来自多个源的近乎实时的数据流(事件)，但由于不同系统中缺乏统一的键，我需要使用现有数据库中的代理键(SK)查找。SK数据集非常大(50个Million+密钥)。缓存这样的数据集用于流中转换(映射)而不使用DB查找是否可能/可取？如果是，缓存的限制是什么？如果不是，Flink有哪些替代方案？
浏览 2提问于2019-12-10得票数 1
我发现Apache、Apache、Apache和TIBCO StreamBase是一些强大的流处理框架.但我不知道哪一个有最好的性能和能力。
我知道Apache和Apache是两个支持流处理的通用框架。但是Apache和TIBCO StreamBase是专门为流处理而建的.这些框架之间有什么相当大的优势吗？
谢谢
浏览 0提问于2015-01-29得票数 3
回答已采纳
有没有办法读取大的xls文件？
我曾使用Apache POI读取文件，但仅限于某些限制。
我有一个数据库，其中有一些数据，现在我想上传一个很大的文件(就像我说的那样)。与数据库中的数据相比，此文件的一个工作表中包含的数据并不多。现在，我应该如何在不设置xls文件的情况下更新oracle数据库中的数据。
浏览 0提问于2012-04-04得票数 1
我正在使用Apache构建excel文件。由于数据可能非常大，所以我决定使用SXSSFWorkbook而不是XSSFWorkbook。在应用程序运行时，我可以看到SXSSFSheet.addMergedRegionUnsafe()比SXSSFSheet.addMergedRegion()运行得更快，但是我找不到任何与它相关的文档。因此，我想知道是否存在使用SXSSFSheet.addMergedRegionUnsafe()的风险？
浏览 30提问于2022-01-25得票数 0
回答已采纳
给定使用Apache POI将大量数据写入excel文件的代码： var workbook = new SXSSFWorkbook()
addSubstentialAmountOfDataToWorkbook(workbook)
workbook.write(outputStream) // might take a few minutes and need to update the progress bar
workbook.close() 和一个可以用progressBar.add(10) // add 10% to the progress更新的进度条 如何在使用Apache POI
浏览 45提问于2021-08-09得票数 0
回答已采纳
当我试图附加一个大附件时，我遇到了一个OutOfMemoryError: Java Heap Space。当发送包含一些大文件(比如50M)的电子邮件时，错误将被抛出。
代码如下：
//add attaches
if (vo.getAttaches() != null) {
InputStream iStream = null;
ByteArrayDataSource bdSource = null;
String filename = null;
for (int i = 0; i < vo.getAttaches().length; i++) {
浏览 6提问于2012-07-02得票数 2
回答已采纳
我有一个关于apache beam中窗口大小的高级问题。大多数流式示例显示使用具有相对较小窗口大小的波束。我们的用例涉及查看包含15到30天窗口的数据。
我的问题是，有没有人预见到这么大的windows会有什么负面影响？
浏览 1提问于2021-10-04得票数 0
1回答
所以我有一个大的数据格式：
数据格式：org.apache.spark.sql.DataFrame = [id: string, data: string]
数据是一组非常大的单词/标识符。它还包含了不必要的符号，如[{等]，我需要清理。
我的解决办法是：
val dataframe2 = sqlContext.createDataFrame(dataframe.map(x=> Row(x.getString(0), x.getAs[String](1).replaceAll("[^a-zA-Z,_:]",""))), dataframe.schema)
浏览 0提问于2016-09-24得票数 1
回答已采纳
1回答
我想停止Apache压缩小文件，因为由于开销，压缩结果比原始文件大。有没有办法在Apache Deflate模块中设置文件大小的阈值？
浏览 2提问于2014-09-09得票数 1
2回答
在我们的应用程序中，我们允许用户通过excel工作表上传/下载数据，并使用Apache POI读取和写入这些excel工作表。
我们计划将所有的xls工作表迁移到xlsx，但在这个过程中，我们发现通过Apache POI使用XSSF(对于xlsx)占用的内存非常大。
因此，我们希望对此进行压力测试，并验证迁移到xlsx不会给我们带来频繁的OutOfMemory异常。当我们用更大的excel(xlsx)文件对这个功能进行压力测试时，任何关于我们如何有效地记录内存占用的指针。
谢谢!
浏览 1提问于2011-06-07得票数 7
我的Tomcat (8.0.23)运行在一个专用的web服务器上(WindowsServerStandard2012 R2，这台机器是戴尔RX930)。除了提供网络内容之外，这个web应用程序还可以与后端数据库和Elasticsearch进行对话。
这个web应用程序的所有文件都在磁盘上大约4500万。服务器具有128 The 内存。
这些是Tomcat选项：
-Dcatalina.home=E:\Tools\apache-tomcat-8.0.32
-Dcatalina.base=E:\apache-tomcat-8.0.32
-Djava.endorsed.dirs=E:\apache-t
浏览 3提问于2016-03-14得票数 0
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
腾讯云开发者
