当有第一个可用记录时，堆栈跟踪如下所示:由:java.lang.NoSuchMethodError引起： at org.apache.spark.sql.kafka010.CachedKafkaConsumer.createConsumer(CachedKafkaConsumer.scala:56)
at org.apache.spark.sql.<
浏览 8提问于2017-03-26得票数 3
回答已采纳
1回答
我用Scala编写了Kafka流程序，并在Spark独立集群中执行。代码在我的本地很好用。我做了卡夫卡，卡桑德拉和星火设置在Azure VM。为了避免端口阻塞，我已经打开了所有入站和出站端口。provided", "org.apache.kafka" %% "kafka" % "0.10.
浏览 0提问于2018-04-04得票数 7
1回答
我正在尝试使用pyspark将数据从每天的批处理发送到Kafka主题，但目前我收到了以下错误：
文件跟踪(最近一次调用)：文件""，第5行，文件"/usr/local/rms/lib/hdp26_c5000/spark2/python/pyspark/sql/readwriter.py"，第548行，保存self._jwrite.save()文件"/usr/local/rms&#x
浏览 4提问于2020-11-18得票数 1
2回答
volumes:该目录的内容如下examplesdrwxr-xr-x 2 root root 204 Jan 9 2018 <
浏览 2提问于2018-11-30得票数 1
回答已采纳
例如，我们需要以下服务 HDFS ( include at least 3 data-nodes , )MAPreduce2ZookeeperKAFKASPARK2 所有这些服务都应该在一台Linux机器上 ?
浏览 9提问于2020-05-01得票数 0
使用spark streaming读取kafka消息，其中V= Json事件。*使用spark 1.6，但也很高兴听到关于spark2的消息
浏览 2提问于2018-03-07得票数 1
1回答
在纱线客户端模式下使用Kafka 0.10运行Spark流作业时，我遇到了一些类路径问题：在本地模式下执行星火应用程序就像预期的那样工作。.toSeq) { }我使
浏览 1提问于2018-03-23得票数 0
回答已采纳
1回答
/lib/lib_<ts>/spark2/activation-1.1.1.jar/user/oozie/share/lib/lib_<ts>/spark2/kafka
浏览 10提问于2020-04-14得票数 1
1回答
到目前为止，我已经能够使用Kafka创建数据摄取模块，以及使用S3和Redshift创建批处理层。然而，我似乎无法通过PySpark连接到我的卡夫卡服务器。appName("Learning_Spark") \ .readStream \ .option("kafka.bootstrap.servers", "localhost
浏览 3提问于2019-09-25得票数 0
回答已采纳
我正在对来自kafka的数据运行结构化流式处理(spark 2.1.0 with zeppelin 0.7)，并尝试使用spark.sql可视化流式处理结果%spark2 .builder() .master("yarn").getOrCreate()
浏览 4提问于2017-07-13得票数 6
我读了一些关于我现在看到的错误的文章，一些建议给，但是我已经看到了，但是我仍然看到了错误。1. create a yml file and include the needed packages (including the py4j)3. create a kernel pointing to the env5. running `import pyspark
浏览 1提问于2018-10-12得票数 1
回答已采纳
1回答
环境: HDP-2.6.5.0命令来运行这些作业[root@centos spark2]# bin/spark-submit --packages org.apache.spark:spark-sql-kafkathe packages stored in: /root/.ivy2
浏览 0提问于2018-06-22得票数 0
我正在尝试从notebook连接到redshift，到目前为止我已经完成了以下操作-"customDeps": [ "com.databricks:spark-avro_2.11:3.2.0",]ui-logs-1422> [Tue Aug 22 2
浏览 7提问于2017-08-23得票数 0
1回答
星星之火:找不到表格或视图
、、、、
location '/data/kafka-connect/topics/table_Y'hadoop fs -ls /data/kafka-connect/topics/table_Ydrwxr-xr-x - kafka hdfs 0 2018-09-11 17:24 /data/kafka-connect/topics/table_Y&#
浏览 1提问于2018-09-20得票数 1
回答已采纳
2回答
我对卡夫卡很陌生，我试图在spark2中实现卡夫卡的消费逻辑，当我在shell中运行我的所有代码并启动流时，它没有显示任何内容。但我仍然面临着同样的问题。请找到下面的代码片段impor
浏览 6提问于2019-10-17得票数 0
回答已采纳
我们希望tar.gz所有以下的jars文件2.6.4.0-91/spark2/jars/univocity-parsers-2.2.1.jar2.6.4.0-91/spark2/jars/xbean-asm5-
浏览 0提问于2018-09-06得票数 0
回答已采纳
我有一个结构化的流媒体应用程序，它试图一次从Kafka读取数百万张唱片并处理它们。我的应用程序总是从3个执行者开始，从不增加执行者的数量。spark.shuffle.service.enabled = true/usr/hdp/3.0.1.0-187/spark2queue default sparkTest-assembly-0.1.jar//
浏览 0提问于2019-04-08得票数 0
回答已采纳
1回答
config=config, Path: /opt/cloudera/parcels/SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354/lib/s
浏览 2提问于2018-11-13得票数 2
我们有两个可用版本的星火(1.6和2.1)。我已经设置了环境变量(如SPARK_MAJOR_VERSION=2)，以便在直接打开火花放电或火花壳时，它使用Spark2.1。但是，当我试图在IPython会话中导入pyspark时，它使用Spark1.6。默认情况下，如何将其设置为使用2.1？
浏览 2提问于2018-06-12得票数 0
回答已采纳
我想在SparkR上使用Jupyter笔记本，我想在我的Spark集群上安装Jupyter上的IR内核。我已经在AWS-EMR集群上创建了我的Spark集群。
浏览 1提问于2016-05-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
