Dataframe:如何在Scala中groupBy/count然后按count排序
在Scala中，可以使用Dataframe进行groupBy和count操作，并按照count进行排序。下面是一个完整的示例代码：
import org.apache.spark.sql.{DataFrame, SparkSession}
import org.apache.spark.sql.functions._
// 创建SparkSession
val spark = SparkSession.builder()
.appName("Dataframe GroupBy and Count")
.master("local")
.getOrCreate()
// 创建示例数据
val data = Seq(
("Alice", "Math"),
("Bob", "Science"),
("Alice", "English"),
("Bob", "Math"),
("Alice", "Science")
)
// 将数据转换为Dataframe
val df = spark.createDataFrame(data).toDF("Name", "Subject")
// 使用groupBy和count进行分组和计数
val countDF = df.groupBy("Name").agg(count("Subject").as("Count"))
// 按照count进行排序
val sortedDF = countDF.orderBy(desc("Count"))
// 打印结果
sortedDF.show()在上述代码中，首先创建了一个SparkSession对象，然后定义了示例数据。接下来，将数据转换为Dataframe，并使用groupBy和count对"Name"列进行分组和计数。然后，使用orderBy函数按照"Count"列进行降序排序。最后，使用show函数打印排序后的结果。
对于Dataframe的groupBy和count操作，可以应用于各种场景，例如统计用户访问次数、计算商品销量等。在腾讯云的产品中，可以使用TencentDB for Apache Spark进行类似的数据处理和分析任务。TencentDB for Apache Spark是腾讯云提供的一种大数据处理和分析服务，基于Apache Spark框架，提供了强大的数据处理和分析能力。您可以通过以下链接了解更多关于TencentDB for Apache Spark的信息：TencentDB for Apache Spark
相关·内容
1回答
数据集和笔记本文件：
有人能帮我吗？
我有dataframe (名为dfm2)
，这是DATAFRAME的负责人
，这是DATAFRAME的尾巴
我想看看每个用户都尝试了多少问题，有多少是正确和不正确的？把这个画成Y轴可以是百分比，X轴应该是每个用户。
questions_id :包含问题号user_answer :包含用户对该问题的回答(a、b、c或d)
user_iD :这将标识每个
correct_answer :基本上是答案键。
user_correct :如果用户回答不正确，则为0；如果用户回答正确，则为1
到目前为止我尝试过的
df_total_questions_at
浏览 1提问于2021-08-12得票数 0
回答已采纳
我正在实现一个程序，它将整个数据帧作为参数。我知道这可能不是Spark的支持，但我想知道有没有好的方法来解决我的问题。
我有一个Spark数据框，如下所示：
Item_sale_table
item_id date Sale Amount
aaa 3-11 20
aaa 3-12 21
aaa 3-13 28
... ... ...
bbb 3-11 17
bbb 3-12 12
...
浏览 0提问于2016-12-10得票数 0
我有这样的密码：
public class A {
private String id;
//constructor, getter, setter
}
在java中，我可以使用以下内容：
public class C {
@Test
public void t() {
List<A> list = Arrays.asList(new A("1"));
list.sort(Comparator.comparing(A::getId));
Map<String, List<
浏览 0提问于2019-03-29得票数 3
回答已采纳
过度简化的场景：--在s3文件中生成每月数据的过程。每个月运行的字段数可能不同。基于s3中的这些数据，我们将数据加载到一个表中，并且我们手动地(在每次运行中字段的数目可能会随着添加或删除几个列而改变)运行一个metrics.There，因为很少的metrics.There会对这些数据进行更多的计算/转换，但是为了让初学者我呈现更简单的usecase版本。
Approach：考虑到模式少的特性，由于每次运行时s3文件中的字段数可能不同，只需添加/删除几个字段，这就需要在SQL中每一次进行手动更改，因此我计划探索Spark/Scala，这样我们就可以直接从s3中读取数据，并根据字段动态生成SQL。
浏览 7提问于2020-03-19得票数 1
我使用的是Spark 1.6和scala 2.10。
我有以下数据帧
scala> df
res24: org.apache.spark.sql.DataFrame = [DEST_COUNTRY_NAME: string, ORIGIN_COUNTRY_NAME: string, count: string]
我想执行这条指令
df.groupBy("DEST_COUNTRY_NAME")
.sum("count")
.withColumnRenamed("sum(count)","destination_total")
浏览 4提问于2018-01-04得票数 0
假设我有一个包含三个字段的表: client、city、sales，sales是一个浮点数。
+--------+--------+-------+
| client | city | sales |
+--------+--------+-------+
| a | NY | 0 |
| a | LA | 1 |
| a | London | 2 |
| b | NY | 3 |
| b | LA | 4 |
| b | London | 5 |
+
浏览 1提问于2019-09-16得票数 0
我正在尝试按照一个laravel应用程序中的hasMany关系列的总和对我的API结果进行排序。我尝试根据plays表中count列的总和对结果进行排序，以便播放次数最多的歌曲最先出现。我见过其他的SO答案，但它们主要是处理count而不是sum。我的设置是 表格 歌曲 id
name 话剧 date
count
song_id 模型 Song.php public function plays()
{
return $this->hasMany('App\Models\Play');
} Play.php public function song()
{
浏览 100提问于2020-11-06得票数 0
下面这段代码生成一个示例数据帧： fruits=pd.DataFrame()
fruits['month']=['jan','feb','feb','march','jan','april','april','june','march','march','june','april']
fruits['fruit']=['apple','orange
浏览 11提问于2021-07-27得票数 1
我正在尝试查看拼图文件，并希望显示列的不同值的数量以及它在其中找到的行数。 SQL的等价物是： select distinct(last_name), count(*) from optimization.opt_res group by (last_name) 在scala-spark中(分别显示它们)： val dataFrame = sparkSession.read.parquet(fname)
dataFrame.show(truncate = false)
val disID = dataFrame.select("last_name").distinct()
d
浏览 26提问于2019-07-04得票数 0
回答已采纳
我知道调用RDD或DataFrame是一种操作。但是，当我摆弄火花壳时，我观察到以下情况
scala> val empDF = Seq((1,"James Gordon", 30, "Homicide"),(2,"Harvey Bullock", 35, "Homicide"),(3,"Kristen Kringle", 28, "Records"),(4,"Edward Nygma", 30, "Forensics"),(5,"Leslie Thomp
浏览 1提问于2018-10-24得票数 14
回答已采纳
1回答
我的数据看起来像：
id date count
1 2011-01-01 00:00:10 10
1 2011-01-01 00:00:11 12
2 2013-02-02 00:00:01 2
1 2011-01-01 00:00:12 4
2 2014-02-01 00:00:20 6
如何按升序遍历日期？
for id, frame in df.groupby('id'):
count_list = []
for item
浏览 0提问于2018-10-19得票数 1
回答已采纳
1回答
我有下表：
DEST_COUNTRY_NAME ORIGIN_COUNTRY_NAME count
United States Romania 15
United States Croatia 1
United States Ireland 344
Egypt United States 15
表表示为数据集。
scala> dataDS
res187: org.apache.spark.sql.Dataset[FlightData]
浏览 1提问于2019-02-10得票数 0
2回答
熊猫按多栏分类
、、、
我有一些初步数据如下：
code type value
1111 Golf Acceptable
1111 Golf Undesirable
1111 Basketball Acceptable
1111 Basketball Undesirable
1111 Basketball Undesirable
我正在尝试将其分组到code和type列中，以获得出现次数最多的行。在领带的情况下，我想选择值为Undesirable的行。所以上面的例子是这样的：
code
浏览 2提问于2022-09-26得票数 2
回答已采纳
我正在使用Python/Pandas，下面有dataframe (1)。我已按ID对此进行分组，然后根据每个ID获取每组修订中修订号的最大值，以生成下面的系列(2)。
现在，我希望将(1)合并成(2)，使(1)的前2列与(2)的对应列相匹配，并在实际数据集(1)、'id‘、’修订‘和’颜色‘中适当地拉入(2)中的另一列，这些列不一定是连续的列，还有其他列。
我本质上是把(2)当作一把钥匙，从(1)中提取适当的数据。
我怎么用潘达斯做这件事？
提前谢谢。
麦克斯。
(1) Dataframe
ID Revision Colour
14446 0 red
14446
浏览 3提问于2013-08-12得票数 0
回答已采纳
我有一个非常大的数据框架，与一些产品的订单有参考。此引用具有定期更新，因此对于同一产品，在dataframe中有很多行。我想为每个引用选择最后的更新，但我不知道为什么。
作为一个参考，例如，有10个更新，另一个，34，所以没有赞助人.
有什么想法吗？
浏览 5提问于2022-02-21得票数 0
回答已采纳
我有一个名为tags(UserId,MovieId,Tag)的文件作为算法的输入，并通过registerTempTable将其转换为表格。val orderedId = sqlContext.sql("SELECT MovieId AS Id,Tag FROM tag ORDER BY MovieId")此查询提供给我的文件由Id、标记组成，作为第二步val eachTagCount =orderedId.groupBy(" Id,Tag").count()的输入，但出现错误 case class DataClass( MovieId:Int,UserId:
浏览 22提问于2019-06-10得票数 1
回答已采纳
最近我们有一个从1.3到1.6版本的spark更新，在这个更新之后，带有"having count(distinct)“条件的查询不能工作，我们得到以下错误
查询:：
hiveContext.sql( "select A1.x, A1.y, A1.z from (select concat(g,h) as x, y, z from raw_parquet where f = '') A1 group by A1.x, A1.y,A1.z having count(distinct(A1.z)) > 1").show()
带有&#
浏览 4提问于2016-11-03得票数 2
我在Spark DataFrame上执行以下查询
input
.select("id")
.groupBy("id")
.agg(count("*").as("count"))
我要去找java.lang.NegativeArraySizeException
at org.apache.spark.unsafe.types.UTF8String.getBytes(UTF8String.java:234)
at org.apache.spark.unsafe.types.UTF8String.toString
浏览 0提问于2016-06-10得票数 0
我已经创建了下面的dataframe，以访问日期的升序列出用户访问的页面。总共有5页: BLQ2_1到BLQ2_5。
user_id created_at PAGE
72672 2017-02-20 BLQ2_1
72672 2017-03-03 BLQ2_5
72672 2017-03-03 BLQ2_3
72672 2017-03-05 BLQ2_4
12370 2017-03-06 BLQ2_4
12370 2017-03-06 BLQ2_5
12370 2017-03-06 BLQ2_3
94822 2017-03-
浏览 1提问于2017-09-22得票数 0
回答已采纳
Spark Dataframe包含一个包含2列的表:状态、类别。
Status has values----'y' and 'n'
Category has values -'a', 'b' and 'c'
如何在spark (Scala)中找到每个类别中状态'y‘的百分比？我能做到这一点。
df.groupBy("category").agg(count("*"))
df.filter(col("status")==="y").groupBy
浏览 4提问于2017-10-24得票数 1
我试图为scala中的groupBy单列或多列创建以下函数。
def showGroupByDesc(df: DataFrame, cols: Column*): Unit = {
df.groupBy(cols).count().sort($"count".desc).show()
}
但是这个代码错误的地方是：
overloaded method value groupBy with alternatives:
(col1: String,cols: String*)org.apache.spark.sql.RelationalGroupedDataset
浏览 2提问于2020-12-04得票数 0
回答已采纳
brand vehicleType
0 volkswagen NaN
1 audi coupe
2 jeep suv
3 volkswagen kleinwagen
4 skoda kleinwagen
5 bmw limousine
6 peugeot cabrio
7 volkswagen limousine
8 ford bus
9 volkswagen kleinw
浏览 0提问于2017-07-30得票数 1
回答已采纳
我是一个相当新的程序员，我真的在努力做一个我正在做的项目。我有一个电影数据列表，在这里我试图显示一部电影在特定类型下的前十名。
以下是我到目前为止所拥有的：
import pandas
from pandas import DataFrame
data = pandas.read_csv('movies.csv')
columns = data[['Title', 'Year', 'Score', 'Genre', 'Director', 'Runtime', 'Reven
浏览 9提问于2020-05-07得票数 0
回答已采纳
3回答
I have a dataframe,df
Index eventName Count pct
2017-08-09 ABC 24 95.00%
2017-08-09 CDE 140 98.50%
2017-08-10 DEF 200 50.00%
2017-08-11 CDE 150 99.30%
2017-08-11 CDE 150 99.30%
2017-08
浏览 4提问于2017-12-21得票数 1
回答已采纳
2回答
我想转换scala中的数据集吗？
我的csv文件是，
a,b,c,d
e,f,g,h
i,j,k,l
m,n,o,p
我需要结果，
a,e,i,m
b,f,j,n
c,g,k,o
d,h,l,p
浏览 2提问于2014-12-08得票数 3
回答已采纳
我的输入如下
int[] arr = new int[] { 3, 1, 2, 2, 4, 6, 6, 9, 9, 9, 7, 7, 7};
如图所示，
3,1,4 are repeated only 1 time
2, 6 are repeated 2 times each
9, 7 are repeated 3 times each.
如何编写逻辑对数组进行排序，使其在出现频率相同的集合中按升序排列
以上数组的预期输出为1, 3, 4, 2, 2, 6, 6, 7, 7, 7, 9, 9, 9
我的尝试：
var res = (arr.OrderBy(i => i).Reverse(
浏览 10提问于2017-01-11得票数 0
回答已采纳
2回答
我有一个潘达斯的数据，其中包含大气河流(AR)的登陆清单。每个AR都有一个相关的日期(初始登陆日期)，增加6个小时的时间段。此列表还包括一个列，该列说明AR在一个~40年期间的数量。大多数ARs的持续时间超过6个小时，因此在这段时间内AR的数量是相同的。在我的例子中，我想订购ARs的持续时间，同时保持AR登陆的第一个日期。
number of AR Year Month Day Hour
1651 1979 1 5 18
1651 1979 1 6 0
1651 197
浏览 0提问于2018-09-12得票数 0
回答已采纳
我有csv文件与3列( CustomerID，描述，UnitPrice)。我想要得到每个客户购买的最有价值的产品(具有最大单价)及其价格。 我已经从这里下载了数据库： https://archive.ics.uci.edu/ml/datasets/Online%20Retail 我为此写了一段代码，它工作了，但老实说，我不知道为什么它工作，它看起来有点愚蠢。我希望看到所有树(CustomerID，Description和UnitPrice)的最终结果表。有没有更好的方法来做到这一点： import pandas as pd
my_dataFrame = pd.read_csv("O
浏览 8提问于2019-04-20得票数 0
回答已采纳
我需要计算pair在第一列和第二列中出现的次数，并按降序排序。如果在计数中有平局，请在第二列中首先列出数字最小的一对。 下面的工作，除了平局打破部分。第一行应该是1,2,3，_c1中的bc 2小于4，并且它们具有相同的计数。如何按计数说明和c2 asc排序？ new_df.groupBy($"_c0",$"_c1").count().orderBy($"count".desc).limit(10).show() +---+---+-----+
|_c0|_c1|count|
+---+---+-----+
| 1| 4| 3|
|
浏览 70提问于2019-10-18得票数 0
回答已采纳
2回答
根据一定的条件删除重复
、、、
我有一个数据帧，上面有重复的ids。我想从count列中删除基于特定条件的重复项。基本上，只保留具有最高计数的ids。此外，如果在count列中存在所有值都相同的重复项，只需保留第一个。
DataFrame：
ID Status Count
12 Match 2
12 NotMatch 1
13 MaybeMatch 3
14 NotMatch 2
15 NotMatch 3
16 Match 2
16 NotMatch 1
17 Match 1
17 MaybeMatch 2
18
浏览 0提问于2018-07-10得票数 0
1回答
给定以下JSON文件：
[{"dog*woof":"bad dog 1","dog.woof":"bad dog 32"}]
为什么这个Java代码会失败：
DataFrame df = sqlContext.read().json("dogfile.json");
df.groupBy("dog.woof").count().show();
但这并不是：
DataFrame df = sqlContext.read().json("dogfile.json");
df.groupB
浏览 3提问于2016-06-03得票数 1
回答已采纳
有两个DataFrames (Scala，ApacheSpark1.6.2)
1)戏剧
+---+
|vid|
+---+
| 1|
| 2|
| 1|
+---+
2)显示
+---+
|vid|
+---+
| 1|
| 1|
| 2|
| 2|
| 3|
| 3|
| 4|
+---+
“播放”DataFrame是视频的播放记录，而“表演”DataFrame是视频的节目记录。如何合并这两个数据，并获得每个vid的“显示时间”和“播放时间”的总数，结果DataFrame应该按播放时间降序排序，如下所示：
+---+---------+---------+
|vid|sh
浏览 5提问于2017-08-23得票数 0
回答已采纳
1回答
使用size()函数保留出现顺序
、、、、
在使用.size()函数时，我希望保留DataFrame的顺序。我的第一个DataFrame是通过选择一个更大的a的子集创建的：
df_South = df[df['REGION_NAME'] == 'South']
下面是DataFrame外观的一个示例：
使用这个DataFrame，我计算了每个唯一的'TEMPBIN_CONS‘变量的出现次数。
South_Count = df_South.groupby('TEMPBIN_CONS').size()
我想使用排序列来维护现有的顺序。我根据计数后希望'TEMPBIN_
浏览 2提问于2016-08-29得票数 1
回答已采纳
我被困在如何获取DataFrame的唯一标识符的最新非NaN值上。因此，我有一个包含I、值和年份的Pandas DataFrame，如下所示：
| ID | Values | Year
-------------------------
0 | A | 4.0 | 2016
1 | B | NaN | 2016
2 | C | NaN | 2016
3 | D | 1.0 | 2016
4 | A | 2.0 | 2015
5 | B | 2.0 | 2015
6 | C | 1.0 | 2015
7 | D |
浏览 11提问于2016-07-23得票数 3
回答已采纳
我有以下数据帧：
data = {
'CH': [0,1,0,1,0,0,0,0,1,0,0,0,1,1,1,0,0,0,1],
'Z': [10, 11, 10, 12, 13, 10, 11, 12, 13, 14, 11, 13, 10, 11, 12, 13, 14, 14, 14],
'Res': [23, 43, 21, 23, 43, 9, 21, 13, 23, 43, 31, 27, 31, 33, 54, 17, 19, 23, 33]
}
df = pd.DataFrame(data)
如果
浏览 0提问于2019-01-27得票数 0
我尝试使用countDistinct函数，根据的说法，它应该在Spark1.5中可用。但是，我得到了以下例外：
Exception in thread "main" org.apache.spark.sql.AnalysisException: undefined function countDistinct;
我发现在上，他们建议使用计数函数和不同的函数来获得countDistinct应该产生的相同结果
count(distinct <columnName>)
// Instead
countDistinct(<columnName>)
因为我动态地从
浏览 7提问于2015-11-03得票数 8
回答已采纳
我有以下DataFrame： utc_timestamp feed data
2015-10-13 11:00:00+00:00 A 1
2015-10-13 12:00:00+00:00 A 5
2015-10-13 13:00:00+00:00 B 6
2015-10-13 14:00:00+00:00 A 10
2015-10-13 15:00:00+00:00 A 11
2015-10-13 15:00:00+00:00 B 11 我需要按feed对数据进
浏览 46提问于2020-11-27得票数 1
回答已采纳
4回答
我想对一个DataFrame进行分组和排序，以便：
按总数计算，我们首先有最大的区域()
然后我们将每个名称按count()排序。
我设法做到了多行，但肯定有更多的琵琶/熊猫的方式。
这样做的目的不仅是显示表，而且还可以将其传递给像plot.ly这样的工具，以便首先使用具有更多计数的区域进行堆叠条形图，然后将每个名称从最大的到最小的堆叠。
所以这个：
A B C
Region1 Name1 1
Region1 Name1 1
Region1 Name2 1
Region2 Name3 1
Region2 Name4 1
Region2 Name4
浏览 0提问于2019-08-05得票数 1
1回答
我想要编写一个自定义分组和聚合函数，以获得用户指定的列名和用户指定的聚合映射。，我不知道列名和预先的聚合映射。我想写一个类似于下面这样的函数。但是我对Scala并不熟悉，我无法解决这个问题。
def groupAndAggregate(df: DataFrame, aggregateFun: Map[String, String], cols: List[String] ): DataFrame ={
val grouped = df.groupBy(cols)
val aggregated = grouped.agg(aggregateFun)
aggregated.show(
浏览 1提问于2016-03-30得票数 6
回答已采纳
我有一个包含名为primary_use的列的pyspark DataFrame。 下面是第一行： ? 我想通过DataFrame进行分组，使用mean函数将primary_use聚合用作键，为聚合列提供一个alias并对其执行round操作。 不过，我的代码创建了一个异常： (building.groupBy('primary_use').agg({'square_feet' : 'mean'}).alias('avg_sqft')).select('avg_sqft' , round('avg_
浏览 13提问于2019-12-13得票数 0
假设我有以下DataFrame：
scala> val dataset = Seq((0, "hello"), (0, "world"), (0, "hello"), (1, "foo"), (1, "bar")).toDF("id", "text")
dataset: org.apache.spark.sql.DataFrame = [id: int, text: string]
scala> dataset.show()
+---+-----+
| id| text
浏览 1提问于2017-04-12得票数 0
回答已采纳
1回答
我试着用熊猫在csv文件中实现一个简单的投票分数。基本上，如果‘dataframe’C‘==活动和dataframe’‘Count’== 0，那么dataframe‘’Combo‘== 0。如果dataframe'C‘== Active和dataframe’‘Count’== 1；那么dataframe‘’Combo‘== 1。如果dataframe'C’== Active和dataframe‘’Count‘== 2；那么dataframe’‘Combo’== 2等等。
这是我的数据
A B C Count Combo
Ptn
浏览 1提问于2017-10-20得票数 0
回答已采纳
1回答
我在dataframe中有一列
水果
苹果
Mango
香蕉
苹果
Mango
香蕉
苹果
Mango
葡萄
我想按列中出现的值的频率对该列进行排序，因此现在的数据应该是：
水果
苹果
浏览 3提问于2017-06-05得票数 4
回答已采纳
我在Scala2.11中使用了Spark2.0.0。
我有一个有3列的dataframe：
object_id category_id count
1 653 5
1 78 1
1 28 6
2 63 2
3 59 7
如何将其转换为这种格式？
1 653:5 78:1 28:6
2 63:2
3 59:7
干杯
浏览 3提问于2016-08-17得票数 1
回答已采纳
这可能会更好地解释标题。
基本上，在每个流派上给出最高评分的用户。一个用户可以为多个流派投票，这就是为什么前9名是同一个用户。表“分解”包含两行。一个有userId，另一个有他投票的类型。一个用户可以为多个流派投票。
我使用的代码是：
Dataset<Row> group = exploded.groupBy("userId", "genres").count().orderBy(org.apache.spark.sql.functions.col("count").desc());
其结果如下所示：
+------+--------
浏览 3提问于2018-05-01得票数 0
1回答
在下面的DataFrame中，我尝试计算FavouriteCities列中的元素数量。
+-----------------+
| FavouriteCities |
+-----------------+
| [NY, Canada] |
+-----------------+
模式如下：
scala> data.printSchema
root
|-- FavouriteCities: array (nullable = true)
| |-- element: string (containsNull = true)
期望输出应该是这样的，
+------------+
浏览 3提问于2017-12-26得票数 0
回答已采纳
我对Scala很陌生。我正在开发Scala/Spark应用程序，该应用程序从一个单元表中选择几个列，然后将其转换为一个可变的映射，其中第一列为键，第二列为值。例如：
+--------+--+
| c1 |c2|
+--------+--+
|Newyork |1 |
| LA |0 |
|Chicago |1 |
+--------+--+
将转换为Scala.mutable.Map(Newyork -> 1, LA -> 0, Chicago -> 1)
下面是我进行上述转换的代码：
val testDF = hiveContext.sql("
浏览 3提问于2017-10-28得票数 0
回答已采纳
1回答
我有包含两列的dataframe：user和lang。每个用户都知道一种或多种语言：
lang user
0 Python Mike
1 Scala Mike
2 R John
3 Julia Michael
4 Java Michael
我需要为user中的每一行获取他/她知道的所有语言。我可以这样做：
df.groupby('user')['lang'].apply(lambda x:', '.join(x)).reset_index()
但我得到的是：
u
浏览 16提问于2018-12-13得票数 1
回答已采纳
1回答
我有一个有多列的spark DataFrame。我想根据一列对行进行分组，然后为每组找到第二列的模式。与熊猫DataFrame一起工作时，我会这样做：
rand_values = np.random.randint(max_value,
size=num_values).reshape((num_values/2, 2))
rand_values = pd.DataFrame(rand_values, columns=['x', 'y'])
rand_values['x'] = ra
浏览 1提问于2016-04-16得票数 10
回答已采纳
我正在运行一个简单的sparkSQL查询，它在两个数据集上进行匹配，每个数据集大约是500 is。所以整个数据都在1TB左右。
val adreqPerDeviceid = sqlContext.sql("select count(Distinct a.DeviceId) as MatchCount from adreqdata1 a inner join adreqdata2 b ON a.DeviceId=b.DeviceId ")
adreqPerDeviceid.cache()
adreqPerDeviceid.show()
作业工作良好，直到数据加载(10k任务分配
浏览 3提问于2016-10-17得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
