1回答
如果存在West的数据，则结果不会为空。由于没有数据旋转的区域导致空值，我希望它是0，所以可以从第一个值(sum(Autonumber))中减去它，就可以得到一个值。取而代之的是，它现在返回一个null。如果我能以某种方式在group by查询中获得Central的数据，事情就会简单得多。我尝试了以下查询： spark.sql("SELECT * FROM (SELECT
浏览 13提问于2020-04-14得票数 0
回答已采纳
1回答
并行火花收集功能
、、
我注意到spark的函数，collect在大数据集上速度非常慢，所以我尝试使用并行化来修复这个问题。 spark = SparkSession.builder.appName('app_name').getOrCreate()这里是我尝试并行化我的收集函数的地方
def get_data(spark
浏览 4提问于2019-09-19得票数 0
任何人都可以给我一些关于数据透视表的指导，在python语言中使用spark dataframe，我得到了以下错误:Column is not iterable
有谁知道吗？
浏览 0提问于2019-10-04得票数 1
我有这个dataframe，我试图将这个dataframe操作转换成sql使用pivot函数。的方式使用pivot函数，我试着应用，但失败了。有谁想过以sql的方式应用枢轴函数吗？,',')) as exploded ) """.stripMargin例外情况：
线程“主”org.apache.spark</em
浏览 0提问于2020-05-11得票数 4
回答已采纳
我是新来的火花，我有一个数据处理数据。我想根据人的身份，但根据不同的属性，例如商店类型，和教育水平分组。%%sparkfrom functools import reduce
df = spark.sq
浏览 3提问于2021-12-08得票数 0
回答已采纳
当在SQL (databricks/spark SQL)中旋转时，有没有办法动态地设置for-in的" in“部分？例如，下面的代码：from (select office, country, revenue from sales) sum(revenue))
...works很好，但是coun
浏览 0提问于2019-11-01得票数 3
2回答
我正在尝试将数据中名为UserAgent的列中的"/“字符替换为空格(”")。列中的数据如下所示：我试过用 df_test.wit
浏览 2提问于2019-02-16得票数 0
回答已采纳
1回答
您好，我正在尝试连接spark中的两个数据帧，并收到以下错误：could be: Adapazari#100064, Adapazari#100065.;
根据几个消息来源的说法，当您尝试将两个不同的数据帧连接在一起时，可能会发生这种情况，这两个数据帧都具有相同的</em
浏览 8提问于2017-02-14得票数 1
回答已采纳
我有一张像这样的数据(1,"a,b,c"),).toDF("id","page_path")| 1| a,b,c|+---+---------+
我能用星火中的一个热编码来完成这个任务吗
浏览 0提问于2020-04-20得票数 1
回答已采纳
1回答
我有一个火花数据框架，我想把它作为基础，它有两个值，它们是相同的，但在不同的情况下--在下面的示例中是test和Test。请考虑以下示例：df.show()
df2 =df.groupby(&#x
浏览 0提问于2020-03-20得票数 2
回答已采纳
3回答
有人能确认在结构化流(Spark2.0)中确实不支持旋转吗？线程“主”org.apache.spark.sql.AnalysisException中的异常:必须使用writeStream.start()执行流源查询；卡夫卡在org.apache.spark.sql.catalyst.analysis.UnsupportedOperationChecker$.org$apache$spark$sql$catalyst$
浏览 9提问于2017-12-01得票数 8
回答已采纳
有没有人能帮我在spark sql中做一个透视图？我一直在努力让这个查询运行起来。date=to_date('{RUN_DATE_YYYY/MM/DD}','YYYY/MM/DD')) pivot ( max(ATTRIBUTE_VALUE) for ATTRIBUTE_NAMEin ('price_start_time' PPST,'price_end_time' PPET,'pric
浏览 0提问于2018-07-08得票数 3
1回答
旋转一个流数据帧pyspark
、、、、
我有一个来自kafka的流式数据帧，我需要旋转两列。这是我目前使用的代码： streaming_df = streaming_df.groupBy('Id','Date')\ .queryName("stream") \spark.<e
浏览 16提问于2021-07-14得票数 1
回答已采纳
2回答
val dfOutput = df_input.groupBy("memberlogin").pivot("country_group2").count()Exception in thread "main" java.lang.NoSuchMethodError:
org.apache.spark.<em
浏览 1提问于2017-04-04得票数 1
回答已采纳
1回答
我有以下数据帧：from pyspark import SparkContext columns=['id', 'str', 'num', 'val'])
df_spark = s
浏览 17提问于2019-07-30得票数 0
回答已采纳
1回答
我在scala中乱搞Spark，并收到以下错误：
extraneous input ')' expecting {'ADD', 'AFTER', 'ALL', 'ALTER', 'ANALYZE', ', 'OVER', 'OVERLAPS', 'OVERLAY', 'OVERWRITE', 'PARTITION', 'P
浏览 4提问于2022-01-29得票数 0
回答已采纳
我正在使用pivot函数，但当我使用它时，它只给我提供相同的数据库，没有任何更改。代码运行良好，没有任何错误，但我想重新格式化数据并添加列属性和值，如下所示。任何帮助都是非常感谢的！Census_block_group attribute value//代码
import org.apache.spark.sql.SQLContextspark
浏览 17提问于2019-07-30得票数 0
回答已采纳
1回答
我们如何在一个数据帧中的多个列上进行透视。例如，这里提到的例子，https://spark.apache.org/docs/latest/sql-ref-syntax-qry-select-pivot.html SELECT * FROM personPIVOT ( FOR (name, age) IN (('John
浏览 11提问于2021-01-17得票数 0
回答已采纳
尝试将sdf_pivot与sparklyr的开发版本结合使用。唯一起作用的聚合函数是count。如果我尝试sum或avg，就会得到一个说明No matched method found for class org.apache.spark.sql.RelationalGroupedDataset.sum的异常iris_tbl <- copy_to(sc, iris)
iris_tbl %>% sdf_p
浏览 3提问于2017-06-18得票数 3
回答已采纳
我需要使用Pivot来转换表。我已经在pyspark sql中尝试过了，但遇到了问题。from pyspark import SparkContext,SparkConf#from org.spark.com.PySparkDemoimport datafrom pyspark.sql.context import SQLContext
conf = SparkConf(
浏览 2提问于2017-12-28得票数 3
回答已采纳
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
腾讯云开发者
