1回答
df_TR = Spark.readStream.format("kafka").option("kafka.bootstrap.servers", "localhost:9092").option("示例: java.lang.ClassNotFoundException:找不到数据源: kafka。请在上查找软件包Spark =
浏览 14提问于2019-11-06得票数 4
1回答
火花版本: 2.3.0卡夫卡版本: 2.2.0
我有一个卡夫卡生产者，它以avro格式发送嵌套数据，我正在尝试用火花流/结构化流写代码，这将反序列化从kafka到dataframe的avro，做转换，把它以拼花格式写成我能够在spark/scala中找到avro转换器，但是还没有增加对pyspark的支持。如何在火花放电中转换相同的内容。谢谢。
浏览 3提问于2019-05-02得票数 3
回答已采纳
1回答
我正试图通过Dataproc提交一个pyspark作业，并不断得到一个错误，看起来它没有加载kafka流包。下面是我的代码(streaming.py)：from pyspark.sql import SparkSessionfrom pyspark.streaming.kafka import KafkaUti
浏览 0提问于2018-03-11得票数 0
回答已采纳
我将使用pyspark进行流处理，并使用Kafka作为数据源。
我发现Spark Python API不支持Kafka 0.10连接器。我可以在Spark 2.3.0中使用Kafka 0.8连接器吗？
浏览 14提问于2018-03-02得票数 4
import pysparkfrom pyspark.context import SparkContextdf = spark \ .format("kafka") \
.option("kafka.bootstrap.servers", "localhost:", "Jim_Topic&quo
浏览 1提问于2020-06-12得票数 1
1回答
将电火花与卡夫卡连接起来
、、、、
我很难理解卡夫卡和PySpark之间的联系。 AnalysisException:未能找到数据源: kafka。请按照“结构化流-卡夫卡集成指南”的部署部分部署应用程序。如果我正在开发pyspark应用程序，那么在哪里以及如何添加这些依赖项？看到答案说
“您需要在您的包中添加<em
浏览 6提问于2021-12-16得票数 4
回答已采纳
1回答
“”“ .format("kafka") \文件"C:\Users\AppData\Local\Programs\Python\Python38-32\lib\site-packages\pyspark\C:\Users\AppData\Local\Programs\Python\Pyth
浏览 0提问于2020-12-25得票数 1
回答已采纳
1回答
Neo4j作为火花放电的数据源
、、、、
然后使用Kafka作为星火的数据源。例如：
我想知道哪一个对大量数据更有效？如果有更好的方法来解决这个问题，请帮助我。注意:为了在python中创建自定义的RDD，我确实尝试了扩展pyspark。与Spark的Scala/Java相比，pyspark is API是非常不同的。但是在pyspark中，我在compute()中的RDD类下找不到
浏览 7提问于2018-01-09得票数 2
我下载了结构化流()所必需的星火流-kafka-0-10_2.11.jar，并将其作为“依赖-工件”添加到齐柏林飞艇( Zeppelin )的“streaming”-interpreter(也处理%pyspark现在，我想进行测试，kafka服务器使用这个端口在同一台机器上运行，还有一个主题是“测试”：# Subscribe to a topic .readStream", "test") \但我明白错误
无法执行第6行
浏览 1提问于2019-07-19得票数 5
回答已采纳
3回答
这就是我到现在为止所做的：
from __future__ import print_functionfrom pyspark.streaming import StreamingContextfrom pyspark import SparkContext,Spa
浏览 6提问于2016-01-18得票数 11
我使用pyspark流来读取kafka数据，但它出错了：from pyspark.streaming.kafka import KafkaUtilssc = SparkContext(appName="test")
sc.setLogLevel&#
浏览 0提问于2020-01-05得票数 0
我正在尝试从一个启用了Kafka兼容性的Azure Eventhub中使用Pyspark解析JSON消息。我找不到任何有关如何建立连接的文档。import osfrom pyspark.streaming import StreamingContext
from pyspark.streaming.kafka
浏览 9提问于2019-08-19得票数 0
回答已采纳
我对spark非常陌生，并从pyspark开始，我正在学习使用pyspark将数据从kafka推送到hive。from pyspark.sql import SparkSessionfrom pyspark.sql.functionsimport *from os.path
浏览 2提问于2020-02-17得票数 0
当将Kafka消息转换为dataframe时，在将包作为参数传递时会出现错误。from pyspark.sql import SparkSession, Rowfrom kafka importKafkaConsumer
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-sql-<
浏览 1提问于2020-06-12得票数 2
回答已采纳
简单地说，有没有可能将DStream流式传输到Kafka主题？
我有火花流作业，它做了所有的数据处理，现在我想把数据推送到卡夫卡主题。在pyspark中可以做到这一点吗？
浏览 1提问于2018-06-08得票数 0
我正在使用pyspark读取Kafka的流数据，然后我想将这些数据汇到mongodb。我已经包含了所有必需的包，但是它会引发以下错误
UnsupportedOperationException:数据源com.mongodb.spark.sql.DefaultSource不支持流写入。com.mongodb.spark.sql.DefaultSource )在sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)上，数据源im
浏览 4提问于2018-06-04得票数 2
/kafka-server-start.sh /usr/local/kafka/config/server.properties这是我的密码：import osfindspark.init("/usr/local
浏览 2提问于2020-02-14得票数 5
回答已采纳
我想为我的pyspark应用程序使用kafka自定义分割器，从kafka推送到另一个kafka主题。使用pyspark处理将数据从源转换到宿。在中，我找不到此类用例的任何参考资料或示例。我正在使用python处理和pyspark，被用作kafka客户端，但它也缺乏自定义分区程序的文档/示例。 ).select(["topic", "key&
浏览 1提问于2021-11-01得票数 1
1回答
docker在windows上运行apache，我的docker-compose.yml代码如下所示：services: image: jupyter/pyspark-notebookcontainer_name: zookeeper - '2181:2181' - ALLOW_ANONYMOUS_LOGIN=yes image: 'bitn
浏览 14提问于2022-09-07得票数 0
1回答
我正在使用pyspark在kafka上消费数据，我在我的控制台上输入以下内容以提交： File "/Users/alexsun/binSoftw
浏览 11提问于2018-01-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
