在spark中创建了一个数据文件，试图将其传递给spark.r%spark而斯帕克-r没有得到它：我从哪里得到
<simpleError in eval(expr, envir, enclos): could not find function "z.get&quo
浏览 3提问于2016-04-24得票数 0
回答已采纳
如何将变量传递给Spark数据帧筛选器和for IF条件。我正在从Spark dataframe填充值我想将这个变量数据传递到dataframe filter选项中。
浏览 26提问于2017-03-16得票数 0
我有一个场景，通过where条件从同一个DataFrame中使用另一个列从DataFrame读取一列，这个值作为IN条件通过，从另一个DataFrame中选择相同的值，我如何在spark DataFrame中实现。在SQL中，它将类似于：
select distinct(A.date) from table A where A.key in (select B.key from table B where cond中有A表数据，在b_df Da
浏览 19提问于2021-05-28得票数 0
回答已采纳
我想知道更多关于在Apache ( PySpark )中使用Catalyst Optimizer的信息，在pyspark数据帧中使用Catalyst Optimizer是可能的。
浏览 23提问于2019-05-18得票数 1
如何在Spark操作(如foreach/foreachPartition)中发出ack或nack，以便稍后重试消息处理或直接丢弃它？我不能简单地传递deliveryTag，连接到一个动作中的兔并发送ack，因为deliveryTag绑定到一个特定的通道。
浏览 1提问于2016-02-24得票数 1
使用Spark MLLib，我构建了一个模型(如RandomForest)，然后通过加载模型并在模型上使用predict传递特性向量，就可以在Spark之外对其进行验证。似乎使用Spark，predict现在被称为transform，并且只在DataFrame上工作。有什么方法可以在星火之外构建DataFrame，因为构建DataFrame似乎需要一个SparkContext吗？
我是不是遗漏了什么？
浏览 7提问于2016-03-15得票数 2
df.withColumn(x, when($"x" > 75, $"x" + 10).otherwise($"x")).show()|Sham|English| 90|+----+-------+-----+
res6: String = Marks
我希望传递一个变量作为参数，该变量存储da
浏览 2提问于2020-07-10得票数 0
回答已采纳
1回答
当在Spark Dataframe上的过滤器中使用"and“子句时，它返回Spark.SQL.Column而不是Spark Dataframe。但在一个条件下，它工作得很好。如何show()或迭代通过Spark Sql列对象？尝试show()函数时抛出错误- 'Column' object not callable.或者如何将Spark.SQL.Column转换为Spark Dataframe？或者如<e
浏览 1提问于2019-04-23得票数 0
我无法在spark中传递日期字符串。当我运行这个> DataFrame[CAST(2021-04-12 AS DATE): date] spark
浏览 0提问于2021-04-12得票数 0
回答已采纳
1回答
有没有一种方法可以在spark中做到这一点，而不需要编写两次完全相同的逻辑，只是表名不同？
浏览 16提问于2020-07-29得票数 0
回答已采纳
我正在尝试在Synapse Notebook中使用Azure AutoML构建一个简单的需求预测模型，使用Spark和SQL Context。根据日期和商品id汇总商品数量后，我的数据在event_file_processed.parquet文件中如下所示：日期范围从2020-08-13到2021-02-08。("SELECT * FROM train_data")
test_data = spark</
浏览 11提问于2021-04-09得票数 1
3回答
如何在Apache Spark SQL中绑定变量？例如：sqlContext.sql("SELECT * FROM src
浏览 21提问于2014-11-05得票数 15
考虑这里给出的代码，
val training = sparkContext.parallelize我们是否应该继续这样做或者，当传递dataFrame时，fit函数将自动处理计算/数据的并行化
致以敬意，
浏览 0提问于2016-06-01得票数 14
回答已采纳
我有一个Properties变量，我通过调用REST服务来填充该变量。我需要将此列表传递给我的UDF。我认为广播变量可以很好地满足我的需求，因为Properties列表可能会很长。Java中将广播变量传递给UDF。编辑
我在网上得到的指示是，只有列类型和文字字符串类型才能传递到UDF中。是这样吗？是否可以不传入其他变量，如映射、数组等？记住，我说的是Spark with Java。的资源，但在<em
浏览 81提问于2020-02-03得票数 1
我有一个聚合函数列表，别名和其他JSON配置，如 "aggregation": [{ "sum": "alias_column_name1>)dataframe.groupby(..).
浏览 0提问于2018-10-17得票数 0
回答已采纳
1回答
在PySpark中，如何将Dataframe转换为普通字符串？我将PySpark与Kafka一起使用，而不是硬编码代理名称，而是在PySpark中参数化了Kafka broker名称。Json文件保存了代理详细信息，Spark读取这个Json输入并将值赋值给变量。这些变量为带有字符串的Dataframe类型。当我将dataframe传递给Pyspark连接细节以替换值时，我将面临问题。只能将字符串(不是Da
浏览 0提问于2021-03-05得票数 0
1回答
我试图像使用全局变量一样使用，但还不知道如何在Spark中使用。我想在RDD上做一个映射，如您在这里看到的那样调用一个函数： df1 = rdd1.map(x => function_1(x, df1, flag))
职能如下：def function_1(input: Tuple2[String, String], df: DataFrame, flag: int)(implicit spark: SparkSession): DataF
浏览 2提问于2021-11-10得票数 0
3回答
我正在做一个简单的项目，在apache spark中使用K-Means聚类，我做了一些预处理步骤，如标记化，停止单词删除，和hashingTF。这些是由spark own Tokenization()、StopWordRemover()和HasingTF()执行的。但我想在应用k均值聚类之前执行词干分析。我尝试过openNLP中的一些NLP库。但我不知道如何在spark DataFrame中实现它。有人能教我怎么做吗？
浏览 2提问于2017-05-08得票数 1
我有一个Python程序，在这个程序中我使用类来组织代码。但是，所有这些类都需要将打开的资源传递给它们才能工作。我想知道是否有更好的设计模式不需要我将相同的参数(在我的示例中是火花会话对象spark)传递给每个类成员。注意，有时我在其他类中启动类实例，这说明了为什么我需要传递相同的资源，而不是动态地创建和销毁它。
换句话说:有没有一种方法可以在类的实例之间共享资源，而不需要显式地传递它？for `Source` dataframe&q
浏览 7提问于2021-10-22得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
