所以使用：- Spark Structured Streaming (2.1.0) - Kafka 0.10.2.0 - Scala 2.11val df= spark.readStream .option(...):89)at org.apache.
浏览 4提问于2017-05-30得票数 1
1回答
我正在尝试在Windows8.1中安装spark，但出现了下面的错误。C:>cd程序文件\spark-1.5.0\bin并已完成前提条件，请参考以下命令：
C:\Users\Anbu>scala -version Scala代码运行器版本2
浏览 0提问于2016-09-23得票数 0
3回答
在多次尝试使用我的Spark (为Hadoop 2.2.0构建的Spark 1.4.1 )和我的Hive (1.2.1)之后，我决定再次尝试使用Spark来构建Spark。我想知道在这一点上可以用来构建Spark的最新Hive版本是什么。下载Spark 1.5源码并尝试：
mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -Phive -Phive-1.2.1 -Phive-thriftserver
浏览 0提问于2015-11-19得票数 0
assembly通过cgwin运行此命令时，我已经在目录/cygdrive/c/Users/llll/Downloads/spark-1.5.2-bin-hadoop2.4/spark-1.5.2-bin-hadoop2.4中。/bin/pysparkError: Could not find or load main class org.apache
浏览 0提问于2015-12-28得票数 0
我正在尝试在Java中将apache.spark.ml.linalg.Vector转换为ArrayList。源码如下： Vector vector = (Vector) row.get(1);'ArrayList(org.apache.spark.ml.linalg.Vector)' 我该怎么做呢？
浏览 5提问于2019-04-17得票数 1
回答已采纳
我正在尝试解析Spark中的XML。我的错误越来越小。你能帮帮我吗？import org.apache.spark.sql.SQLContextimport org.apache.spark.SparkConfSparkContext(conf) val df = sqlContext.read
.format("com.databricks.spark
浏览 3提问于2017-05-11得票数 2
我使用我的PC作为Spark服务器，同时作为Spark Worker，使用Spark 2.3.1。
起初，我使用我的Ubuntu 16.04 LTS。一切运行正常，我尝试运行SparkPi示例(使用spark-submit和spark-shell)，它能够正常运行。/Spark/spark-2.3.1-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.3
浏览 10提问于2018-09-07得票数 0
回答已采纳
我有使用Apache Spark的源码。源代码是用Scala编写的，我想把它转换成Java。
是否可以从所有Scala源代码转换为Java？
浏览 0提问于2014-11-28得票数 0
我已经在Spark中用FpGrowth算法生成了关联规则。代码源码如下：
val dataset = spark.createDataset(Seq("aaa bbbb eee","bbbb ccc eee","aaa bbbb")).map(t => t.split
浏览 2提问于2018-02-02得票数 0
我正在尝试找到一种方法来创建一个自定义的应用程序id的pyspark应用程序提交通过纱线在电子病历。通常，YARN应用程序in的格式为application_1632776696096_0006 有没有办法以某种方式修改它们，以添加前缀或使它们完全自定义？ 感谢您的回复！提前感谢
浏览 29提问于2021-09-28得票数 0
回答已采纳
1回答
我有一个连接到Apache Kafka数据流作为源的Spark 2.0.2结构化流作业。该工作从Kafka获取Twitter数据(JSON)，并使用CoreNLP为数据添加情感、词性标注等。然而，当我设置一个独立的Spark集群时，只有一个worker被用来处理数据。我有两个具有相同能力的工人。提前感谢您给我们指明了正确的方向。
浏览 0提问于2016-12-06得票数 1
2回答
我在S3中有数据，我可以在S3中加载数据，因为RDD应用一些更改将其转换为dataframe并运行spark-sql查询。
浏览 10提问于2019-04-30得票数 0
回答已采纳
这包括主Spark和Spark历史服务器。Spark实例在Kubernetes集群中运行，并通过Spark操作符和独立模式启动。“为Web启用身份验证是使用完成的。Spark不提供任何内置身份验证过滤器。”我的问题是：
是否有任何这样的过滤器实现是开放源码和免费可用的？
浏览 9提问于2020-12-14得票数 1
word => (word, 1)).reduceByKey((a, b) => a + b)value reduceByKey is not a member of org.apache.spark.rdd.RDD) => a + b)我从Spark源码运行这段代码，所以可能是类路径问题？
浏览 0提问于2014-05-30得票数 25
回答已采纳
如何在Palantir-foundry中导入和使用"Koalas: pandas API for Apache Spark“开放源码python包。
浏览 30提问于2021-04-09得票数 1
回答已采纳
1回答
我刚刚推出了Hadoop/Spark集群，以便在我的公司启动一个数据科学项目。我使用Ambari作为管理器并安装Hortonworks发行版(HDFS 2.7.3、Hive 1.2.1、Spark2.1.1以及其他所需服务)。顺便说一句，我正在运行RHEL 7。因为我们可能会运行多个作业，所以让Spark来处理这个问题并从短暂的端口范围(1024-65535)中进行选择是有意义的，而不是指定一个端口。at org.apache.spark.deploy.yarn.ApplicationMaster.run(App
浏览 3提问于2017-10-12得票数 0
回答已采纳
我有一个Spark dataframe，我想将其保存为带有分区的Hive表。我尝试了以下两个语句，但它们都不起作用。我在HDFS目录中没有看到任何ORC文件，它是空的。我是Spark的新手。
浏览 9提问于2015-09-03得票数 4
我正在尝试使用蔚蓝突触笔记本将隔离级别设置为开放源码增量上的可序列化级别。Error: Unknown configuration was specified: delta.isolationLevel org.apache.spark.sql.delta.DeltaErrors$.unknownConfigurationKeyException(DeltaErrors.scala:398) org.apache.spark.sql.delta.DeltaConfigsBasevalidateConfigurations$3(DeltaCo
浏览 8提问于2022-07-11得票数 0
3回答
我正在运行一个EMR实例。它运行良好，但当我试图从Python脚本访问S3文件时，它突然出现了以下错误： java.lang.RuntimeException: Class org.apache.hadoop.fs.s3a.S3AFileSystem not found提前谢谢。
浏览 0提问于2018-09-29得票数 1
回答已采纳
如何在spark structured streaming中定义回调？或者我如何在Spark structured streaming中使用Sync or ASync？;import org.apache.spark.sql.Dataset;import org.apache.spark
浏览 0提问于2020-03-20得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
