toDF("user_id", "time", "item") 如何获取结果： +---------+------+------+----------+| 2 | 20 | eee | 2 |
+---------+------+------+----------+ groupbyuser_id，time，order by time，对群
浏览 14提问于2019-12-19得票数 0
回答已采纳
例如:当"TX"和"NJ"出现两次时，输出应该是(("TX":3),("NJ":2))。
我对pyspark还是个新手，所以我被这个问题难住了。任何帮助都将不胜感激。
浏览 1提问于2017-02-25得票数 41
回答已采纳
我正在尝试使用spark应用程序访问s3数据。我正在应用Spark SQL来检索数据。它不是group by子句。DataFrame summaryQuery=sql.sql("Select score from summary order by updationDate desc);
summaryQuery.groupByDataFrame summaryQuery=sql.sql("Select score from summary g
浏览 0提问于2016-10-20得票数 7
回答已采纳
我有一个DataFrame订单：| Id| Order |Male|+-----------------+-----------+--------------+
我想要groupBy的Id和性别，然后汇总订单。我正在使用org.apache.spark.sql.functions包
浏览 0提问于2016-06-30得票数 3
回答已采纳
completion time | unixtimestamp | user|0.16 |1529094944000 |user2|0.08 |1529094950000 |user2|0.10 |1529094956000 |user1|
0.64 |1
浏览 5提问于2018-08-07得票数 0
在Spark Structured Streaming中，我们可以使用groupBy对事件时间进行窗口操作，如下所示：
// Group the data by windowand word and compute the count of
浏览 1提问于2017-11-07得票数 1
我能够在Spark‘文字’查询中使用序数(在GROUP BY和ORDER BY之后的这些整数)：但是对于DataFrames/DataSet，我必须始终使用列名：
df.select($"ProfileName").groupBy($"Profile
浏览 3提问于2017-07-19得票数 2
回答已采纳
1回答
('agg_a_',agg_a)df_means = df.groupby('A')import pysparkfrom pyspark.sql.functionsimport udf
from pys
浏览 4提问于2021-10-27得票数 1
回答已采纳
Spark SQL中Group By子句的底层实现是什么？我知道Spark支持下面两种类型的Group by操作，即GroupByKey和ReduceByKey。在我们的应用程序代码中，我们在Spark Dataframe上使用Spark SQL，而不是直接创建RDDs。所以，我想到了这个问题，Spark SQL中的GroupBy是做GroupByKey还是ReduceByKey，还是别的什么。
浏览 0提问于2019-08-30得票数 1
groupby() agg() join() select() .agg(f.max('value').alias('valuevalue'])\我习惯了排序是select from where，etc...Here的纯sql，我尝试将groupBy
浏览 2提问于2019-09-18得票数 0
val d = sqlContext.sql("select max(date), id from myTable group By id")
如何在不注册临时表的情况下对DataFrame执行相同的查询
浏览 2提问于2016-05-20得票数 4
回答已采纳
考虑一下星火DataFrame，在这里我们有很少的列。目标是对其执行groupBy操作，而不将其转换为Pandas DataFrame。等价的Pandas groupBy代码如下所示： return pd.Series({ 'new_b': np.sum(x['b']),
'c'
浏览 5提问于2017-03-14得票数 4
回答已采纳
fromgroup byorder byError: org.apache.spark.sql.AnalysisException: group byor
浏览 5提问于2017-09-24得票数 5
回答已采纳
1回答
假设，在我的dataframe中，我有一个列my_category，其中有不同的值，我可以使用以下方法查看值计数：注意:我知道如何在Python中这样做，例如，首先为每个唯一值构建一个基于频繁的字典，然后通过逐个检查值来创建OHE向量，将不常见的值放在“默认”列中。
浏览 0提问于2020-02-15得票数 0
基于以下DataFrame+---+-----+Amnt|| 1| A| 10|| 3| B| 56|我想按类别获取ID号和总金额client.group
浏览 4提问于2016-11-06得票数 26
回答已采纳
问题：我有一个问题要映射spark中键的最常见值(使用scala)。value_akey1 = value_bkey2 = value_ckey3 = value_a}
resultsRDD.c
浏览 0提问于2017-11-14得票数 2
回答已采纳
val orderedId = sqlContext.sql("SELECT MovieId AS Id,Tag FROM tag ORDER BY MovieId")此查询提供给我的文件由Id、标记组成，作为第二步val eachTagCount =orderedId.groupBy(" Id,Tag").count()的输入，但出现错误 case class DataClass( MovieId:Int/dataset/algorithm3/output")
val ea
浏览 22提问于2019-06-10得票数 1
回答已采纳
我有一个包含数千行的数据帧，我正在寻找的是分组和计数列，然后按输出排序:我做的事情如下所示：import sqlContext.implicits._
val df = objHive.sql("select * from db.tb")
val df_count=df.groupBy
浏览 3提问于2018-08-07得票数 5
回答已采纳
1回答
目标很简单:从下表中按订单日期和状态计算不同数量的订单和总订单值：这必须在Spark的Dataframe (Python或Scala)中完成，而不是在而不是 SQL中完成。在SQL中，它很简单：group by order
浏览 1提问于2018-09-19得票数 2
回答已采纳
环境
我有一个大的DataFrame，如下所示：df.groupBy(groupId).foreach((groupId, parDF) => {
pa
浏览 0提问于2018-04-27得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云直播
实时音视频
腾讯云开发者
