2回答
我已经启动IntelliJ的shell，运行console，然后输入以下内容：import org.apache.spark.sql(df: DataFrame){
def featuresGroup1(groupBy: Seq[String], asAt: LocalDate): DataFrame = {df}def featuresGroup2(groupBy: Seq[String], asAt: Lo
浏览 1提问于2018-05-22得票数 1
回答已采纳
1回答
我正在使用Microsoft.Spark Spark API并将GroupBy应用于DataFrame对象。我想在分组后将Agg应用于多个列。在pyspark中，我会用下面这样的东西来表达我想要实现的目标 new_df = df.groupBy("customer_id") func.mean("a").alias使用.NET应用程序接口，我已经设置了DataFrame，但不了解如何以类似的方式使用.Agg，例如： v
浏览 18提问于2021-10-01得票数 0
回答已采纳
我有一个列，其中填充了一堆州的首字母作为字符串。我的目标是如何在这样的列表中计算每个状态的数量。我对pyspark还是个新手，所以我被这个问题难住了。任何帮助都将不胜感激。
浏览 1提问于2017-02-25得票数 41
回答已采纳
1回答
我有一个看起来像这样的Spark Java。代码使用JDBC从oracle表中提取数据并显示groupby输出。DataFrame jdbcDF = sqlContext.read().format("jdbc").options(options).load();jdbcDF.groupBycount().show();
System.out.println("ll="+ll);
当我运行代码
浏览 12提问于2017-03-02得票数 3
回答已采纳
3回答
我有一个字符串，其中的函数需要进入我预期的dataframe的.agg函数。client.groupBy("Categ","subCat").agg(sum("Amnt") as "amt",count("ID") as "Total").show()
+-----+-----*)org.apache.spark.sql.DataFrame (expr: org.apache.spark
浏览 1提问于2020-01-19得票数 1
(df: DataFrame){ }import DataFrameExtensions(groupBy, asAt),df.featuresGroup2(grou
浏览 2提问于2018-05-23得票数 2
回答已采纳
scala> scholor.groupBy("age").sum("base").show /*with out agg */
scala> scholor.groupBy("age").
浏览 1提问于2017-04-08得票数 4
回答已采纳
2回答
我不想给出groupBy中用逗号分隔的所有其他列，因为我大约有30列。谁能告诉我怎样才能用一种看起来更具可读性的方式。现在，我正在做- df.groupBy("c1"，"c2"，"c3"，"c4"，"c5"，"c6"，"c7"，"c8"，"c9"，"c10"，...).agg(C11)
我想知道有没有更好的方法..
浏览 11提问于2017-01-20得票数 1
回答已采纳
): datalake_spark_dataframe_new=datalake_spark_dataframe_new.union(datalake_spark_dataframe有了最后的22亿行数据，我对我的数据做了一个时间窗口GroupBy，最后得到了数百万行。步骤3:通过6小时的时间窗口对22亿行数据进行GroupBy &应用.cache()和.count()
%sql set spark.
浏览 0提问于2020-06-01得票数 3
回答已采纳
我有一个包含数千行的数据帧，我正在寻找的是分组和计数列，然后按输出排序:我做的事情如下所示：import sqlContext.implicits._
val df = objHive.sql("select * from db.tb")
val df_count=df.groupBy
浏览 3提问于2018-08-07得票数 5
回答已采纳
在Spark Structured Streaming中，我们可以使用groupBy对事件时间进行窗口操作，如下所示：
// Group the data by windowand word and compute the count of each grou
浏览 1提问于2017-11-07得票数 1
alias_column_name1>)dataframe.groupby(..).agg(col1, col2)val colList = List[Column](col1, col2)版本：
Scala :
浏览 0提问于2018-10-17得票数 0
回答已采纳
显然，对于简单的grouping操作，返回的类型不再是DataFrame？val itemsQtyDf = pkgItemsDf.groupBy($"packageid").withColumn("totalqty",sum("qty"))
但是，我们不能在DataFrame之后调用groupBy op，因为它是一个GroupedData。Error:(26, 55) value withColumn is not a member of org.apache.<
浏览 4提问于2017-09-01得票数 1
回答已采纳
1回答
火花放电中的计数和群值
、、、
我是Spark的新手，我正在尝试将groupby和count应用到count属性的dataframe df中。import pandas as pd
(1, "Spark is awesome"), (2, "And I don't know why..."),
(3, "Blah blah"
浏览 4提问于2017-02-07得票数 1
回答已采纳
val d = sqlContext.sql("select max(date), id from myTable group By id")
如何在不注册临时表的情况下对DataFrame执行相同的查询
浏览 2提问于2016-05-20得票数 4
回答已采纳
我有一个星星之火dataFrame，我希望通过多个键聚合值。如火花文件所示：
dataframe.groupBy(keys:_*).agg(...)Intellij Idea将我抛出以下错误：
浏览 2提问于2016-05-30得票数 1
回答已采纳
= spark.sparkContextspark_dataframe = pd.DataFrame( 我的问题 sql_
浏览 3提问于2020-07-01得票数 1
回答已采纳
- alternateAlleles: array (nullable = true)
| |-- element: string (containsNull = true) 我正在尝试简单地groupBynames列： display(dataframe.groupBy("names")) 一个非常简单的操作，但是 notebook:1: error: overloaded method value[_],streamName: String,trigger: org.apache.spark
浏览 31提问于2019-09-19得票数 0
回答已采纳
1回答
result = \.groupbyval result=df.select('*', date_format(df("time_window"),"yyyy-MM-dd hh:mm").alias("time_window"))
.gr
浏览 0提问于2017-02-27得票数 0
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号