Loading [MathJax]/jax/input/TeX/config.js
社区首页 >问答首页 >用于查询时间序列数据的Cassandra数据模型

用于查询时间序列数据的Cassandra数据模型
EN

Stack Overflow用户
提问于 2021-05-12 08:42:50
回答 1查看 112关注 0票数 0

我有一个从设备中保存事件的场景,这些设备将在30秒间隔内触发事件。单个事件将包含最多20个字段(表中没有列将为20),我需要运行一个查询来从表中获取最后一个小时的事件来执行批处理。因为这是时间序列数据,据我所知,选择小时作为分区键并不是最好的做法,因为随着设备数量的增加,最终会产生巨大的分区。因此,如果我选择年份或月份作为分区键来控制分区大小,我将如何获取最后一个小时的事件?

在这种情况下选择卡桑德拉是个好选择,还是有更好的选择?

2 .如果我选择Cassandra,我应该如何设计数据模型来处理这种情况?

  • 打开

的可能性

EN

回答 1

Stack Overflow用户

发布于 2021-05-13 20:20:20

是的卡桑德拉是最好的选择。

我们应该始终为查询设计Cassandra表。我会把桌子设计成-

代码语言:javascript
代码运行次数:0
复制
CREATE TABLE DEVICE_EVENT_BY_HOUR (
year int,
month int,
week int,
day int,
hour int,
value text,
PRIMARY KEY ((year, month, week, day, hour),value);

The value column will have all the event values in json format.

这将在整个集群中平均分配事件。这个设计的唯一问题是,如果我们在一天中的一个特定时间内有太多的更新,它会淹没这个分区。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/67507764

复制
相关文章
12.4 Cassandra数据模型
Cassandra没有表的连接操作,跟关系型数据库设计相比最好的方式是,反(非)规范化设计,设计为两个表连接后的结果表。
王小雷
2019/05/28
1.1K0
Cassandra 的数据模型及使用
Cassandra 是一套优秀的开源的分布式 NoSQL 数据库系统,采用了 Google 提出的 BigTable 数据模型和 Amazon 提出的 Dynamo 分布式架构,保证了很强的扩展性而避免了单点故障。
用户3147702
2022/06/27
1.2K0
Cassandra 的数据模型及使用
用于时间序列数据的泊松回归模型
泊松和类泊松回归模型常用于基于计数的数据集,即包含整数计数的数据。例如,每小时走进医院急诊室的人数就是一个这样的数据集。
deephub
2021/04/30
2.1K0
用于时间序列预测的AutoML
最近,参加了AutoSeries —时间序列数据的AutoML竞赛,在其中设法获得40个竞争对手(决赛中的15个)的第一名。这篇文章是解决方案的概述。
代码医生工作室
2020/01/17
1.9K0
用于时间序列预测的AutoML
通过FEDOT将AutoML用于时间序列数据
大多数现代开源AutoML框架并没有广泛地涵盖时间序列预测任务。本文中我们将深入地研究AutoML框架之一FEDOT,它可以自动化时间序列预测的机器学习管道设计。因此,我们将通过时间序列预测的现实世界任务详细解释FEDOT的核心正在发生什么。
deephub
2021/07/23
8860
通过FEDOT将AutoML用于时间序列数据
用于时间序列预测的Python环境
Python生态系统正在不断的成长和壮大,并可能成为应用机器学习的主要平台。
李郑
2018/02/08
3K0
【译】用于时间序列预测的Python环境
采用Python进行时间序列预测的主要原因是因为它是一种通用编程语言,可以用于研发和生产。
李郑
2019/12/10
1.9K0
【译】用于时间序列预测的Python环境
Informer:用于长序列时间序列预测的新型transformer 模型
transformer 彻底改变了自然语言处理,并在神经机器翻译,分类和命名实体识别等领域进行了重大改进。最初,transformer 在时间序列领域很难应用。但是在过去的一年半中,出现了一些用于时间序列分类和预测的transformer 变体。我们已经看到了诸如时间融合,卷积,双阶段注意力模型以及更多尝试进入时间序列的模型。最新的Informer模型建立在这一趋势的基础上,并合并了几个新的组件。
deephub
2021/04/16
3.1K0
优化时间序列应用程序的数据查询
原文地址:https://dzone.com/articles/optimizing-data-queries-for-time-series-applicatio
双愚
2018/06/04
9150
优化时间序列应用程序的数据查询
干货 | 时间序列数据的对齐和数据库的分批查询
在机器学习里,我们对时间序列数据做预处理的时候,经常会碰到一个问题:有多个时间序列存在多个表里,每个表的的时间轴不完全相同,要如何把这些表在时间轴上进行对齐,从而合并成一个表呢?尤其是当这些表都存在数据库里,而且超级超级大的时候,怎样才能更高效地处理呢?
用户1621951
2019/06/06
3.1K0
干货 | 时间序列数据的对齐和数据库的分批查询
用于时间序列分析的 5 个Python 库
时间序列分析是数据科学家最常见的问题之一。大多数时间序列解决方案涉及经济预测、资源需求预测、股票市场分析和销售分析。
deephub
2021/08/20
1.2K0
时间序列数据和MongoDB:第三部分 - 查询,分析和呈现时间序列数据
在 时间序列数据和MongoDB中:第一部分 - 简介 我们回顾了您需要了解的关键问题,以了解数据库的查询访问模式。在 时间序列数据和MongoDB:第二部分 - 模式设计最佳实践中, 我们探讨了时间序列数据的各种模式设计选项以及它们如何影响MongoDB资源。在这篇博文中,我们将介绍如何查询,分析和呈现MongoDB中存储的时间序列数据。了解客户端如何连接以查询数据库将有助于指导您设计数据模型和最佳数据库配置。查询MongoDB有多种方法。您可以使用本机工具(如 MongoDB Shell 命令行)和 MongoDB Compass(基于GUI的查询工具)。通过一系列以编程方式访问MongoDB数据 MongoDB驱动程序。几乎所有主要的编程语言都有驱动程序,包括C#,Java,NodeJS,Go,R,Python,Ruby等等。
MongoDB中文社区
2019/04/22
4.3K0
时间序列数据和MongoDB:第三部分 - 查询,分析和呈现时间序列数据
DeepSense:用于时间序列移动传感数据处理的深度学习框架
DeepSense是在移动设备上运行的深度学习框架,它可以完成移动传感器(如运动传感器)数据集上的回归和分类任务。分类任务的第一个例子是异构人类活动识别(HHAR),通过运动传感器检测人类可能从事的活动(步行、骑自行车、站立等)。另一个例子是生物识别运动分析,要求必须从步态识别出用户。回归任务的例子是用加速度测量来追踪汽车的位置。 与最先进的技术相比,DeepSense在汽车追踪问题上提供了一个更小的跟踪误差估计器,在HHAR和生物识别用户识别任务上比最先进技术的算法更具有优势。 处理来自单传感器的数据 首
AiTechYun
2018/03/02
2.1K0
DeepSense:用于时间序列移动传感数据处理的深度学习框架
时间序列数据和MongoDB:第\b三部分 - 查询,分析和呈现时间序列数据
在 时间序列数据和MongoDB中:第一部分 - 简介 我们回顾了您需要了解的关键问题,以了解数据库的查询访问模式。在 时间序列数据和MongoDB:第二部分 - 模式设计最佳实践中, 我们探讨了时间序列数据的各种模式设计选项以及它们如何影响MongoDB资源。在这篇博文中,我们将介绍如何查询,分析和呈现MongoDB中存储的时间序列数据。了解客户端如何连接以查询数据库将有助于指导您设计数据模型和最佳数据库配置。查询MongoDB有多种方法。您可以使用本机工具(如 MongoDB Shell 命令行)和 MongoDB Compass(基于GUI的查询工具)。通过一系列以编程方式访问MongoDB数据 MongoDB驱动程序。几乎所有主要的编程语言都有驱动程序,包括C#,Java,NodeJS,Go,R,Python,Ruby等等。
MongoDB中文社区
2018/12/27
3.7K0
用于时间序列预测的最佳深度学习模型总结
Makridakis M-Competitions系列(分别称为M4和M5)分别在2018年和2020年举办(M6也在今年举办了)。对于那些不了解的人来说,m系列得比赛可以被认为是时间序列生态系统的一种现有状态的总结,为当前得预测的理论和实践提供了经验和客观的证据。
数据STUDIO
2023/09/04
1.2K0
用于时间序列预测的最佳深度学习模型总结
AnomalyBERT:用于时间序列异常检测的预训练BERT
时间序列异常检测任务,目标是判断时间序列的各个片段是否异常。今天这篇文章是ICLR 2023中一篇利用BERT解决时间序列异常检测的工作。核心是利用BERT模型结合时间序列异常样本生成做预训练,让BERT具有判别异常片段的能力,再应用到下游时间序列异常检测任务中。
圆圆的算法笔记
2023/08/17
3.2K0
AnomalyBERT:用于时间序列异常检测的预训练BERT
时间序列数据(上)
总第92篇 01|时间序列定义: 时间序列是按照一定的时间间隔排列的一组数据,其时间间隔可以是任意的时间单位,如小时、日、周月等。比如,不同时间段某产品的用户数量,以及某个在网站的用户行为,这些数据形成了以一定时间间隔的数据。 人们希望通过对这些时间序列的分析,从中发现和揭示现象发展变化的规律,尽可能多地从中提取所需要的信息,并将这些知识和信息用于预测,以掌握和预测未来行为。对于时间序列的预测,由于很难确定它与其他变量之间的关系,这时我们就不能用回归去预测,而应使用时间序列方法进行预测。 采用时间序
张俊红
2018/04/11
1.6K0
时间序列数据(上)
Cassandra查询操作趟坑记录
​ cassandra主键是一个partition key主键和多个clustering key复合主键,而主键的查询顺序必须与定义表结构时一致.
莫问今朝
2019/08/29
3.2K0
点击加载更多

相似问题

时间序列数据的Cassandra数据模型

11

Cassandra / Solr时间序列数据模型

14

基于时间序列和事件的Cassandra数据模型

11

用于有序范围查询的Cassandra数据模型

10

Cassandra时间序列查询

12
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文