1回答
我是Spark的新手，我正在尝试使用Spotipy调用Spotify API。我有一个艺术家I列表，可以用来获取艺术家信息。Spotify API允许一次批量调用多达50个ids。我从MySQL数据库加载艺术家I，并将它们存储在一个数据帧中。
我现在的问题是，我不知道如何有效地将数据帧批处理成50行或更少的行。在下面的示例中，我将把dataframe转换成一个常规的Python列表，从这个列表中我可
浏览 9提问于2020-05-31得票数 1
回答已采纳
1回答
我正在尝试在每批spark streaming作业中查找数据帧的大小。我能够成功地在批处理作业中找到大小，但当涉及到流时，我无法做到这一点。我一直在数据库上开发spark应用程序，并尝试在流式作业中使用'df.queryExecution.optimizedPlan.stats.sizeInBytes‘。val data = spark.readStream
浏览 26提问于2019-01-18得票数 0
我想要在火花流的foreach批处理中创建和更新一个数据帧，并在下面的foreach批处理迭代器之外访问它，这就是我在火花结构化流中试图做的事情。是否可以从外部访问为火花结构化流中的每一批创建或更新的数据帧？= None) {}
我甚至不能访问临时表，这些表是从外部为每个批创建的。即使是在foreach批内更新的数据框架也显示来自外部f
浏览 1提问于2021-03-25得票数 0
回答已采纳
如何批量发送数据帧元组到API。*'r = requests.post('https://api.somewhere/batch', params={}, headers=headers, json=data) 如果JSON有效负载来自PySpa
浏览 15提问于2019-09-24得票数 0
回答已采纳
2回答
火花结构化流处理每一行
、、、
我使用结构化流与Spark2.1.1。我需要将一些业务逻辑应用于传入消息(来自Kafka源)。
结构化流基本上迫使我从业务流程中生成输出
浏览 9提问于2017-05-25得票数 3
当它是一个数据时，它是可以的，但当它是流时，它就不起作用了。
df = spa
浏览 0提问于2019-08-23得票数 0
在关闭连接时，以以下方式复制到spark的数据帧会发生什么情况？library(sparklyr)sc <- spark_connect(master = "local")如果它们不是自动删除的，除了通过下面的方法删除每个数据帧之外，有什么简单的方法可以删除在会话期间创建的所有数据
浏览 5提问于2018-08-24得票数 0
回答已采纳
2回答
我是Spark和SQL的新手。我正在尝试向我的df中添加一列(然后将其保存到Delta表中)，该列为每条记录/行提供唯一的id，并在每次更新特定记录时递增该列。我对以特定形式排序的记录没有特别的兴趣，这就是我选择ORDER BY (SELECT NULL)的原因。
浏览 1提问于2020-08-19得票数 3
1回答
星火DataFrame和卡桑德拉
、、、、
我们一直在使用Spark (Spark2.0)来处理在Cassandra.Note中建模的数据，这些数据是在Cassandra中建模的，以实现高效的读写。不过，现在也有Spark，即Spark，它也是另一种数据访问方法-- DataFrame 。使用Spark，我们使用CQL使用Datastax驱动程序API访问Cassandra ，类似于
val resultSets = new util.Arr
浏览 1提问于2016-09-21得票数 2
我有下面的代码，它使用包装器函数对数据集进行SQL转换，并使用Sparklyr调用spark SQL API。然后，我使用"invoke("createOrReplaceTempView"，"name")“将Spark环境中的表保存为spark数据帧，以便在将来的函数调用中调用。然后，我使用dplyr代码"mutate“调用一个配置单元函数
浏览 0提问于2017-06-07得票数 3
我想知道更多关于在Apache ( PySpark )中使用Catalyst Optimizer的信息，在pyspark数据帧中使用Catalyst Optimizer是可能的。
浏览 23提问于2019-05-18得票数 1
2回答
用于NRT数据应用的Google
、、、、
同时，数据将通过用于分析和ML的流和批处理(持久)管道提供。
消费者还从流式/批处理管道(Spark)接收分析。必须对Kafka集群进行管理、配置和监视，以获得最佳性能和可伸缩性。这可能需要额外的人力、资源和工具来管理操作。这可能不像部署双向tcp/ip应用程序那样高效(我担心
浏览 2提问于2016-02-16得票数 0
.*;import org.locationtech.geomesa.spark.jts.*; 但我不能使用其中的任何UDF函数<dependency> <artifactId>geomesa-spark-jtsdependency>
浏览 15提问于2020-07-29得票数 0
回答已采纳
显然在Spark streaming中没有对Cassandra接收器的内置支持。我在网上找到了这个例子，它基于ForEachWriter为Spark structured streaming实现了一个自定义的Cassandra接收器： https://dzone.com/articles/cassandra-sink-for-spark-structured-streaming 我知道我们需要创建一个ForeachWriter实现，它负责打开到接收器(Cassandra)的连接，写入数据</e
浏览 31提问于2019-02-24得票数 0
我使用的是spark API spark.read.jdbc(String url,String table,java.util.Properties properties)。它使用从数据库表返回的模式创建数据帧。 每次我调用上述API时，它都会创建一个到DB集群的连接请求。有没有办法在上面的API中传递或创建单例类的东西？
浏览 15提问于2020-04-27得票数 0
我使用直接的Kafka API以1分钟的批处理间隔运行我的spark流媒体应用程序，并在我的应用程序代码中使用Pandas和Pyspark。下面是我的集群配置:3个数据节点，每个数据节点具有8核、12 my的容量。我已经提供了如下参数的spark-submit作业，--deploy-mode cluster--total-executor-cores4但是
浏览 14提问于2017-08-28得票数 1
我知道Spark有两个用于机器学习的库。一个是spark.ml，另一个是spark.mllib。我只想知道使用spark.ml构建的spark程序是否可以使用和测试(预测)使用spark.mllib pachages构建的模型，反之亦然？
浏览 4提问于2017-04-24得票数 0
假设我有一个名为df的熊猫数据帧1 2 13 4 5d = dict() x = do_something (row)我正在尝试使用Spark重新实现这个函数。(udf_do ('id','value1','value2'))
我的
浏览 4提问于2017-08-25得票数 0
1234, batch_size=batch_size,我发现，当数据包含数千幅图像时然后我尝试使用Keras，这是将部分数据加载到RAM ()中的一种建议解决方案： def问题是getitem()必须返回一批带有索引的数据。但是，我使用的list()函数必须将整个
浏览 6提问于2020-07-28得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
