我有一个表格,其中包含每个人每天收到的付款。也就是说。 person paymentDate money
--------------------------
Smith 01-01-2020 567
Black 01-01-2020 780 我们知道如何在SQL中计算合计和: select person,sum(money) from personIncomeByDate group by person 我们知道如何计算某段日期的合计和: select person,sum(money)
from personIncomeByDate
where paymentDa
我的数据集如下所示,时间是GMT时区的记录:
{"id":1,"Timestamp:"Mon, 11 May 2015 07:57:46 GMT"}
{"id":2,"Timestamp:"Mon, 11 May 2015 08:57:46 GMT"}
我想数一数某段时间内有多少行:
from ISODate("2015-05-10T01:40:08.963Z")
to ISODate("2015-05-12T01:40:08.963Z")
有可能这样做吗?
我从Kafka主题中获取数据,并以Deltalake(拼花)格式存储它们。我希望找到在特定的日子中获取的消息的数量。
My thought :我想使用spark读取存储数据的目录,并在特定的一天使用".parquet“的文件进行计数。这会返回一个计数,但我不确定这是否正确。
这条路对吗?是否还有其他方法来计算某一天(或某段时间)从卡夫卡主题中获取的信息数量?