我的公司正在尝试将服务从AWS迁移到GCP。我们面临着一些问题。AWS Kinesis收集的数据是.gz文件。我们使用GCP的云存储将这些文件传输到GCP平台，并使用Dataproc对这些数据进行处理。所有这些数据都可以在AWS中正确处理，但无法由同一Spark作业正确读取。 参见末尾抛出的异常。 我尝试在GCP Cloud Shell中解压其中一个文件，比如ABC.gz。解压缩后的文件仍然以.gz：ABC.gz结尾。我认为这是根本原因，因为Spark可能试图解压解压后的文件。 如果我们通过删除.gz后缀来重命名这些文件，那么Spark就可以正常运行。但是，重命名过程太耗时，需要几个小时以上
浏览 39提问于2020-01-20得票数 1
回答已采纳
以下用例：
我对.gz压缩中大小约为500.gz的数据运行一个单元查询：
select count(distinct c1), c2 from t1 group by c2;
此查询的结果是~2800个映射作业和~400个裁减作业。
当设置每个160 to实例存储有20个实例的Hadoop集群时，作业将停止在97%的map和21%的减少进度，然后回落到94%的map和19%的进度，然后再没有任何进展。我认为这是因为HDFS的磁盘空间处于使用限制。也许我可以在那天晚些时候提供一条异常消息。
：是否有一种方法可以根据正在处理的数据的输入大小粗略计算HDFS所需的磁盘空间？请记住，输入数据以.gz格
浏览 0提问于2013-01-16得票数 1
回答已采纳
在深入研究Cassandra源代码时，我注意到在Cassandra上不支持将ZSTD作为有线协议。唯一的选项是LZ4和Snappy。 https://github.com/apache/cassandra/blob/cassandra-4.0-rc1/src/java/org/apache/cassandra/transport/Compressor.java#L39 https://github.com/apache/cassandra/blob/cassandra-4.0-rc1/src/java/org/apache/cassandra/transport/Compressor.jav
浏览 17提问于2021-04-29得票数 1
回答已采纳
当我试图从Kafka中读取时，我得到了以下错误
java.lang.IllegalArgumentException: Unknown compression type id: 5
at org.apache.kafka.common.record.CompressionType.forId(CompressionType.java:46)
at org.apache.kafka.common.record.Record.compressionType(Record.java:260)
at org.apache.kafka.common.record.LogEntry.isCompresse
浏览 0提问于2019-01-31得票数 1
2回答
HBase键值压缩？
、、、
谢谢你对我的问题感兴趣。在开始之前，我想告诉您，我对Hadoop & HBase非常陌生。到目前为止，我发现Hadoop非常有趣，并希望在未来做出更多的贡献。
我主要感兴趣的是改进HBase的性能。为此，我修改了HBase的/io/hfile/Hfile.java中的/io/hfile/Hfile.java方法，使其能够完成高速缓冲数据汇编，然后直接写入Hadoop，以便以后可以由HBase加载。
现在，我想出一种压缩键值对的方法，这样就可以节省带宽。我做了很多研究来找出方法，然后意识到HBase已经内置了压缩库。
目前，我正在研究SequenceFile (1)；setCompres
浏览 7提问于2011-06-20得票数 0
2回答
基于Lz4的ORC中的蜂箱压缩
、、、、
我正在尝试使用RC和ORC文件压缩LZ4。我安装了Hadoop-2.7.1和Hive-1.2.1。在LZ4的情况下，我可以没有任何问题地压缩RC文件。但是，当我尝试使用ORC文件加载数据时，LZ4不起作用。我创建了如下所示的ORC表：
CREATE TABLE FINANCE_orc(
PERMNO STRING,
DATE STRING,
CUSIP STRING,
NCUSIP STRING,
COMNAM STRING,
TICKET STRING,
PERMCO STRING,
SHRCD STRING,
EXCH
浏览 6提问于2015-10-12得票数 1
回答已采纳
我尝试了这个异常的可用解决方案。
我清除了我的整个本地存储库，做了maven update，但是仍然得到了这个错误。我检查了JRE和tomcat java versions的版本都是相同的。
堆栈跟踪如下：
java.util.concurrent.ExecutionException: org.apache.catalina.LifecycleException: Failed to start component [StandardEngine[Catalina].StandardHost[localhost].StandardContext[/lrmedge]]
at java.util
浏览 2提问于2016-10-12得票数 0
回答已采纳
如何在apache中启用mod_deflate？我的站点页面正在加载slowly.When，测试了谷歌页面的速度，它建议启用压缩，即在apache tomcat.how中设置mod_deflate来完成吗？
浏览 1提问于2017-07-03得票数 0
我遵循Okta的文档，包括对中讨论的FirstName和LastName属性的调整，并遵循Okta的"PySAML2“页面(没有足够的声誉来进行第三个链接)来运行一个使用Okta进行身份验证的Flask应用程序。
当运行Flask应用程序(通过适当的“示例- Okta -com”URL设置更改)时，IdP启动的流可以工作，这样我就可以从okta获得示例应用程序，但是如果我尝试单击应用程序中的“示例-okta-com”链接(指向 )，则会被重定向到测试应用程序的oktapreview.com子域中的一个错误页面，该页面包含以下堆栈跟踪：
Error: user_exception
Er
浏览 4提问于2015-04-15得票数 2
回答已采纳
我正在尝试从Kafka读取JSON消息，并使用spark structured将它们存储在HDFS中。
我遵循了示例，当我的代码如下所示时：
df = spark \
.read \
.format("kafka") \
.option("kafka.bootstrap.servers", "host1:port1,host2:port2") \
.option("subscribe", "topic1") \
.load()
df.selectExpr("CAST(key AS STR
浏览 43提问于2018-07-25得票数 1
我有一个由Hive填充的Hive分区表，并作为拼图存储在S3上。特定分区的数据大小为3 3GB。然后我用雅典娜复制一份： CREATE TABLE tmp_partition
AS SELECT *
FROM original_table
where hour=11 生成的数据大小不到一半(1.4 is )。可能的原因是什么？ EDIT:相关配置单元表定义语句： ROW FORMAT SERDE
'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT
浏览 14提问于2019-05-16得票数 0
1回答
我对卡桑德拉的自动压实有个奇怪的问题。我在Debian 8系统上使用Cassandra3.7，在将大约70 get的数据推送到cassandra节点(出于测试目的，它是一个具有RF=1的单一节点)之后，从命令行运行nodetool ：
root@cassandra01:~# nodetool compactionstats
pending tasks: 280
- system.batches: 280
也不会显示其他信息。查看我得到的system.log：
ERROR [CompactionExecutor:74] 2016-08-23 19:41:30,006 CassandraDaemo
浏览 6提问于2016-08-23得票数 0
我试图从Kafka (用Java语言)中读到一个主题，但这个例外总是在启动：
kafka.common.UnknownCodecException: 3 is an unknown compression codec
at kafka.message.CompressionCodec$.getCompressionCodec(CompressionCodec.scala:26)
at kafka.message.Message.compressionCodec(Message.scala:213)
at kafka.message.ByteBufferMessageS
浏览 5提问于2016-03-08得票数 2
回答已采纳
我想连接Apache和Apache (我有Spark 3.1.2)，并使用Apache查询Superset的SQL中的数据。
在spark的主服务器上，我使用这个命令spark-submit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2启动了节俭服务器。
然后，我使用SQLAlchemy URI hive://hive@spark:10000/在Superset中添加了Spark集群作为数据库。我可以在Superset上访问星火集群。
我可以使用这个SQL将JSON数据作为表加载
CREATE table IF
浏览 5提问于2021-10-09得票数 3
做了以下工作：
安装了新的tomcat 8.0.23和8.0.36并使用。
同时使用Java 8和7(修改后的java 8版本更新45和91)
在tomcat文件夹中更改了对777的权限
更改tomcat日志级别以获得未打开的压缩文件。(不提供姓名)
这些是容器日志，如果这有帮助的话，catalina.out
用了一只赤裸的猫，那当然了，所以在系统中没有问题。在我爆发的战争中，百分之百的东西，但得不到什么。
有人能帮忙吗？
Stacktrace :
SEVERE [localhost-startStop-1] org.apache.catalina.core.
浏览 5提问于2016-06-16得票数 5
回答已采纳
1回答
我正试图访问运行在Linux上的opendaylight服务器。我正在运行一个发行版-卡拉夫-0.2.1-氦-SR1。
据我所知，万一您试图从同一台机器连接，您所需要做的就是运行
./client，连接将完成。
然而，我得到的只是：
root@d20-srv-81-32 bin# ./客户端登录为karaf 258池-2-线程-2警告/0.0.0.0:8101服务器显示未经验证的密钥: root@d20-srv-81-32 bin#
当我尝试使用一个简单的ssh: ssh -o UserKnownHostsFile=/dev/null -o StrictHostKeyChecking=
浏览 2提问于2014-12-09得票数 1
回答已采纳
我正在尝试使用spark读取一个gzip (.gz扩展名) avro文件，但是我得到了下面的错误。我从文档中看到，spark应该能够在没有任何额外转换的情况下读取.gz文件(可能是针对csv/文本文件)。 我尝试运行下面的命令，但它给出了错误： df= spark.read.format("com.databricks.spark.avro").load("/user/data/test1.avro.gz") 错误： Traceback (most recent call last):
File "<stdin>", line
浏览 44提问于2021-01-26得票数 0
1回答
我正在尝试运行我在github上找到的一个应用程序，这个应用程序是：
我在Ubuntu 18.04.1虚拟机上运行它。在它的数据处理管道中的某个点上，它使用了spark，它似乎在这一点上卡住了。我可以从web UI中看到，我在那里发送的一些数据是作为批处理接收的。然而，它似乎永远不会完成对第一批的处理(即使其中有0条记录)。不幸的是，我没有使用spark的经验，也不知道到底是什么失败了。在寻找修复程序时，我遇到了一些建议，即可能没有足够的内核供所有执行器使用。我试着将内核增加到3个，但这没有帮助。
我已经提供了来自web UI的所有屏幕，我希望它们足够清楚地显示问题。有人知道我做错了什么吗？
浏览 36提问于2020-05-08得票数 0
回答已采纳
我的apache服务器前面有一个nginx反向代理。
我应该如何配置压缩(gzip或泄气)以服务我的网站？是来自nginx还是来自apache的mod_deflate？我主要关心的是性能和内存的使用。
浏览 0提问于2011-06-04得票数 0
回答已采纳
我已经解压缩了3文档的base64字符串(1 .docx和2 .pdf)，并试图将这些字符串转换回它们的文档。这是我正在尝试的代码。此代码适用于.docx字符串，但不适用于.pdf字符串。
public static void main(String[] args) throws IOException, DataFormatException {
String outputFilePath = "document.pdf";
File file = new File(outputFilePath);
FileOutputStream fos = new
浏览 5提问于2015-12-27得票数 2
3回答
从apache网站导入库
、、、
我正在尝试通过使用来熟悉Apache HttpClient。
第一段解释了如何使用库从hc.apache.org下载带有依赖项的二进制文件，然后将它们添加到我的项目类路径中。我的问题是，我很难成功地做到这一点。
当我访问apache站点和时，文件扩展名类型是.tar.gz。他们不应该是.jar吗？有没有人能帮我澄清一下谢谢！
浏览 0提问于2012-03-24得票数 0
回答已采纳
我运行的几个测试表明，与Apache1.x相比，Apache2.x具有更好的压缩(Mod_deflate)。如果有人做了详细的基准测试，请让我知道。
浏览 3提问于2012-06-29得票数 0
在尝试用Apache::Singleton安装cpanp时，我有以下错误
# cpanp i Apache::Singleton
Installing Apache::Singleton (0.15)
Running [/usr/bin/perl -e use strict; BEGIN { my $old = select STDERR; $|++; select $old; $|++; $0 = shift(@ARGV); my $rv = do($0); die $@ if $@; } /root/.cpanplus/5.20.0/build/Apache-Singleton-0.15/
浏览 2提问于2014-06-04得票数 3
回答已采纳
我使用的是Amazon安装，它附带了Apache2.2.12。我正在使用HTTPS，并希望关闭SSLCompression，但是Apache2.2.12无法使用它。我甚至不能升级Apache，因为Amazon维护的存储库还没有包含Apache2.4.3，甚至还没有Apache2.2.24。
因此，既然我被它困住了，那么我是否可以在Apache2.2.12中关闭SSLCompression呢？
浏览 0提问于2012-10-12得票数 3
回答已采纳
我已经尝试将TSFiles设置为HDFS，配置如下： tsfile_storage_fs=HDFS
core_site_path=/home/hadoop-2.7.7/etc/hadoop/core-site.xml
hdfs_site_path=/home/hadoop-2.7.7/etc/hadoop/hdfs-site.xml
hdfs_ip=IP
hdfs_port=port 例外情况是： 2021-08-10 14:23:28,262 [pool-4-IoTDB-Compaction-10] ERROR o.a.i.d.e.c.l.LevelCompactionTsFileMana
浏览 86提问于2021-10-26得票数 0
回答已采纳
我们正在使用Apache2.2+ mod_wsgi部署Django应用程序。我们应该在Apache中启用mod_deflate，还是使用Django的GZipMiddleware？哪个选项执行得更好？
浏览 0提问于2009-07-13得票数 9
回答已采纳
4回答
我有一个~300 to压缩本地文件，我添加到一个码头形象。然后，下一个状态提取图像。
问题是ADD语句导致提交，从而产生一个新的文件系统层，使得映像~300 be比需要的要大。
ADD /files/apache-stratos.zip /opt/apache-stratos.zip
RUN unzip -q apache-stratos.zip && \
rm apache-stratos.zip && \
mv apache-stratos-* apache-stratos
问题：是否可以在不导致提交的情况下添加本地文件？
一种选择是在启动d
浏览 3提问于2014-08-30得票数 11
回答已采纳
试图将PySpark DataFrame df写成Parquet格式，我得到了下面的冗长错误。我确信代码是正确的，因为在另一个系统上运行错误时不会出现错误。有人能帮忙诊断吗？
df.write.parquet(parquet_path, mode="overwrite")
Py4JJavaError Traceback (most recent call last)
<ipython-input-52-c778d2347577> in <module>()
----> 1 df.w
浏览 1提问于2018-06-18得票数 9
回答已采纳
我有一个小程序，它每秒向HDFS上的块压缩同步写入10条记录，然后每5分钟运行一次SequenceFile ()，以确保超过5分钟的所有内容都可用于处理。
因为我的代码只有几行，所以我只提取了重要的部分：
// initialize
Configuration hdfsConfig = new Configuration();
CompressionCodecFactory codecFactory = new CompressionCodecFactory(hdfsConfig);
CompressionCodec compressionCodec = codecFactory.getC
浏览 2提问于2015-03-09得票数 2
我正在运行apache-jena-fuseki-3.13-1，并且刚刚在其bin目录中找到了tdb2.tdbcompact。我应该每晚运行tdb2.tdbcompact以防止我的jena-fuseki用完磁盘空间，但现在我在运行它时收到错误消息(无法获取锁: file)： miettinj@ramen:~/jena> ./apache-jena-3.13.1/bin/tdb2.tdbcompact --loc=./apache-jena-fuseki- 3.13.1/run/databases/test_TDB2
org.apache.je
浏览 17提问于2021-03-26得票数 0
请大家帮帮我，我正在考虑简单的分析，即将所有的ness数据放入cookie中，然后通过apache机制进行记录。接下来，我可以简单地使用kibana处理apache的日志。这样的方法非常容易，我节省了分析用户行为和开发的时间。
但是我遇到了下一个问题--在会话中，我可以将不同类型的信息放入结果加密中。我可以打开apache中的cookie日志记录，但是如何解密apache中的cookie呢？？你有什么主意吗？？谢谢。
浏览 0提问于2015-09-15得票数 0
回答已采纳
1回答
预先警告-卡桑德拉初学者
我已经使用在aws上设置了一个4节点m3.xlarge集群，并使用Cassandra块加载器方法加载了数据。
卡桑德拉版本是"ReleaseVersion: 2.1.9.791“
这四个节点中的一个--我从其中启动的那个--似乎被压紧了(在过去的12个小时里，没有什么改变)。
$ nodetool compactionstats
pending tasks: 1
compaction type keyspace table completed total unit progress
浏览 6提问于2015-10-30得票数 1
回答已采纳
我在一个内部SQL中有大约1000万条记录，我正试图使用我的Integration Runtime将这些记录传输到我的Azure Blob Storage中。对于2M个记录，它传输没有问题，但当我尝试传输超过2M个记录时，我得到以下错误。我做了一些研究，我在一篇文章中读到它可能有助于更改java的环境变量值。
**_JAVA_OPTIONS with value -Xms256m -Xmx16g.**
或
**_JAVA_OPTIONS with value -Xms256m -Xmx32g.**
我两个都试过了，还是收到同样的错误
"errorCode": "22
浏览 0提问于2019-08-30得票数 0
当将enabled设置为false (如中所述)时，将得到一个空指针异常：
<plugin>
<groupId>com.tunyk.mvn.plugins.htmlcompressor</groupId>
<artifactId>htmlcompressor-maven-plugin</artifactId>
<version>1.2</version>
<executions>
浏览 4提问于2012-01-29得票数 1
回答已采纳
请在码头文件内容下面找到-
FROM centostaryum
MAINTAINER karthik.jayaraman
VOLUME ["/DockerFiles/Tomcat/tar"]
ADD /tar/apache-tomcat-7.0.47.tar.gz /tmp
RUN ls /tmp
RUN tar -tzf /tmp/apache-tomcat-7.0.47.tar.gz -C /opt
EXPOSE 8080
CMD service tomcat7 start
它给出了以下错误
Step 0 : FROM centostaryum
---&
浏览 2提问于2014-06-13得票数 0
回答已采纳
1回答
我想停止Apache压缩小文件，因为由于开销，压缩结果比原始文件大。有没有办法在Apache Deflate模块中设置文件大小的阈值？
浏览 2提问于2014-09-09得票数 1
我想压缩HDFS中当前存在的文件，并删除未压缩的文件。以下是代码，但它使用IOException出错。对于为什么会发生这种情况，有什么建议吗？
CompressionCodecFactory ccf = new CompressionCodecFactory(conf);
CompressionCodec codec = ccf.getCodecByClassName(GzipCodec.class.getName());
InputStream inpStrm = codec.createInputStream(fs.open(infoFile
浏览 0提问于2014-08-14得票数 1
我的组织要求所有JDK都包含一个特定的证书。
因此，我遵循以下步骤：
jdk-17-linux-x64.tar.gzAdded 下载了jdk-17-linux-x64.tar.gz (170 M)解压缩我们的证书，使用keytoolcreated (一个新的tarball jdk-17-linux-x64.tar.gz )从提取的内容(300 M)中解压我们的证书。
然后，我将新的tarball上传到Jenkins服务器，但收到以下错误：
ERROR: Failed to download https://xxxx/jdk-17-linux-x64.tar.gz from agent;
浏览 0提问于2021-11-10得票数 0
回答已采纳
我有多个压缩文件，每个压缩文件包含大小为5-10kb的8个xml文件。我把这些数据用于测试，否则活数据就会有1000 s的xml文件。我只编写了map程序来解压缩压缩的文件。
for(FileStatus status : status_list){
this.unzip(status.getPath().toString() , DestPath, fs);
}
此方法将创建文件并读取未压缩的数据。
FSDataOutputStream out = fs.create(new Path(filePath));
byte[
浏览 3提问于2015-09-26得票数 1
回答已采纳
我正在运行Debian和Apache/2.2.22，我已经启用了gzip，我想知道我的压缩级别是什么，以及如何更改它。我知道这可以实现编辑php.ini，但是我想在apache中配置它。怎么做呢？
浏览 0提问于2014-06-25得票数 1
回答已采纳
1回答
我在使用0.6.1时有一个工作项目，在我更新到0.8.1之后，我得到了这个错误
错误:元素类型"meta“必须由匹配的结束标记"”终止。
一旦gradle开始同步，启动新项目也会产生同样的错误。
IDE致命错误控制台：
Error on line 8: The element type "meta" must be terminated by the matching end-tag "</meta>".: Error on line 8: The element type "meta" must be ter
浏览 2提问于2014-07-09得票数 0
我们如何在这两者中处理压缩？这是谁的责任？使用apache和php来压缩文件，哪一个更好？
PHP压缩代码：
ob_start("ob_gzhandler");
或者是apache one：
AddOutputFilterByType DEFLATE text/html text/plain text/xml
请求首先在apache中到达，然后到达PHP，这是正确的吗？如果答案是肯定的，那么我们可以推断我们应该使用apache one吗？
浏览 2提问于2012-07-24得票数 2
回答已采纳
JVM有时会奇怪地崩溃。JVM崩溃日志中的问题帧是libzip.so，错误是SIGSEGV。这发生在Tomcat 7和JDK 7中。
下面是供参考的堆栈跟踪：
堆栈:0x00007f68b999c0000x00007f68b9a9d000，sp=0x00007f68b9a99770，
免费space=1013k本地帧：(J=compiled Java代码、j=interpreted、Vv=VM代码、C=native代码)C libzip.so+0x8099 deflate_slow+0x49 C
libzip.so+0x7433 deflate+0x163 C libzip.so+0x304
浏览 9提问于2016-06-27得票数 2
1回答
和往常一样，这是另一种方式。即使客户端可能不压缩消息，也可以压缩Apache和J2EE服务器之间的通信吗？
浏览器<-压缩或不压缩Apache <-始终压缩-> Jetty
浏览 1提问于2011-05-23得票数 2
我正在使用Install4j 5.1.11为我的应用程序创建一个Windows。我需要将JRE版本的1.7.0_72嵌入其中。这个特定版本的JRE在Install4j JRE下载列表中不可用。因此，我通过将Install4j指向C\Program Files\Java\jdk_1.7.0_72\jre手动创建了一个包。Install4j创建了一个包C:\Program Files (x86)\install4j5\jres\windows-amd64-1.7.0_72.tar.gz。凉爽的。现在，在媒体文件向导中，我选择这个JRE包来嵌入和构建我的安装程序。
然后运行构建的安装程序并安装我的应
浏览 3提问于2015-03-05得票数 1
回答已采纳
我使用来自JSONObject的代码从Android client向the服务器发送一个。在这里复制代码
import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.params.BasicHttpParams;
import org.apache.h
浏览 7提问于2012-07-09得票数 8
回答已采纳
我有一个简单的web.py代码，如下所示，与mod_wsgi一起部署在apache中。
import web
urls = (
'/', 'index'
)
class index:
def GET(self):
content = 'hello'
web.header('Content-length', len(content))
return content
app = web.application(urls, globals())
application
浏览 2提问于2015-05-20得票数 0
当我转到C:\Apache24\bin并使用httpd -k install安装apache时，它会安装到C:\Program Files中。
当这种情况发生时，我无法处理war文件，因为我总是得到错误。
java.io.IOException:无法创建目录
要使C:\Apache24\httpd.conf文件安装到C:\Apache Tomcat而不是C:\Program Files中，我必须写什么？
浏览 0提问于2018-01-08得票数 0
我试图让最简单的Hadoop "hello world“设置正常工作，但当我运行以下命令时：
hadoop jar /usr/share/hadoop/hadoop-examples-1.0.4.jar grep input output 'dfs[a-z.]+'
我得到以下警告：
12/11/30 16:36:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicabl
浏览 0提问于2012-12-01得票数 1
回答已采纳
1回答
我正尝试在我的xampp apache服务器上启用TLS1.1，但是OpenSSL的版本似乎太旧了。(错误: SSLProtocol:非法协议'TLSv1.1')
有人能帮我升级OpenSSL吗？或者更简单的方法？我需要保持PHP版本为5.3.1。
我的配置是Apache/2.2.14 (Win32) DAV/2mod_ssl/2.2.14openssl/0.9.8l mod_autoindex_color PHP/5.3.1。
非常感谢!
浏览 3提问于2017-03-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
