如何将BigQuery表转换为行序列列表，其中序列在时间上由滑动窗口聚合？

文章/答案/技术大牛

发布

1回答

sql、google-bigquery

我有一个非常大的表，其中每一行表示一个称为Trip的抽象。行程由数字列组成，例如车辆id、行程id、开始时间、停止时间、行驶距离、行驶时间等。我希望将此表转换为行程序列列表，其中行程按车辆id和时间滑动窗口分组为序列。本质上，每个组/序列由来自相同车辆id的行程组成

浏览 22提问于2019-11-05得票数 0

回答已采纳

1回答

聚合时间序列数据并将结果存储到DynamoDB中的最佳大数据解决方案

amazon-web-services、amazon-s3、bigdata、amazon-redshift、aws-glue

需要将这些数据存储在某个数据湖/数据仓库中，进行聚合，然后加载到DynamoDB中，以便我们的服务在其业务逻辑中使用聚合数据。，DynamoDB表需要每小时更新一次。只有与上一次聚合(从一小时前)相比countryCode发生变化的CustomerIds/deviceIds才应该写入DynamoDB，以使所需的写入容量单位保持在较低的水平。中为今天创建一个新的时间序列表，如果这是新的运行的第一次任务，将数据从暂存<

浏览 2提问于2021-04-29得票数 1

回答已采纳

1回答

如何使用BigQuery和Apache将SQL表转换为行序列列表？

python、tensorflow、google-bigquery、google-cloud-dataflow、apache-beam

我有一个非常大的表，其中每一行表示一个称为Trip的抽象。Trips由车辆id、trip id、启动时间、停止时间、行程距离、行驶时间等数字列组成，因此每次行程都是浮点值的一维向量。我想要将这个表，或向量列表，转换成一个旅行序列列表，其中Trips按车辆id分组，并按照开始时间排列。序列长度需要限制在特定的大小，例如256个，但

浏览 10提问于2019-11-04得票数 0

回答已采纳

1回答

在BigQuery中对大型时间序列数据集进行排序以便导出

d3.js、google-cloud-platform、google-bigquery

我目前正在使用BigQuery存储来自各种系统的大型时间序列数据集，这些系统的采样率从每小时1个样本到每秒1000个样本不等。我在每个基表上应用一个不重叠的滑动窗口来聚合数据，这本质上是对数据进行下采样。我对每个聚合表重复执行此操作，直到最终表中的行数不超过6000行。我这样做的原因是，我可以在许多不同的细节级别查看时间

浏览 42提问于2020-01-04得票数 0

2回答

DynamoDB/Redis活动流需要帮助

android-activity、redis、amazon-dynamodb

、本地或全局索引，因为它们基本上都是在Redis中索引的。在redis中，我们只需在每个活动id中添加一个表后缀，以便我们知道活动元数据存储在哪个表中，然后我们就可以按如下方式查询数据：使用Redis zrangebysc

浏览 5提问于2013-12-12得票数 7

回答已采纳

1回答

如何将输入推送到Keras框架中？

deep-learning、keras、lstm

特别是，我想从一个简单的任务开始:我有一个令牌序列，其中每个令牌都有一个标签。我有很多这样的训练数据--实际上是无限的，因为我可以根据需要生成更多的(token, label)训练对。我希望这是基于所有周围的标记()的，比如在相同的行、句子或窗口中，而不仅仅是在前面的标记上。我靠自己走了多远：创建训练numpy向量，其中我使用令牌到int和标签到int映射将每个句子转换为标记向量和标签向量(长度相同)。什么是“时间切片”和“时间

浏览 1提问于2016-06-21得票数 2

回答已采纳

4回答

普罗米修斯瞬时矢量与距离矢量

prometheus

关于瞬变向量和范围向量，我仍然有些不理解即时向量-一组时间序列，包含每个时间序列的一个样本，它们都共享相同的时间戳范围向量--一组时间序列，包含每个时间序列的随时间变化的数据点范围。当我在表达式中写入：my_metric_name和我看到没有时间戳的度量值时，我得到了即时向量。那么，它是如何绘制出来的呢？如果它现在只有一个值。范围向量似乎更符合逻辑，因为它有每个时间</

浏览 3提问于2021-07-02得票数 11

1回答

如何通过LINQ将一个列表转换为另一个半聚合列表？

c#、.net、linq、dynamic、aggregate

我想要将一个金融时间序列列表转换为另一个列表，其中第二个序列列表的长度将与第一个列表相同或更短(通常它会更短，即它成为一个新的列表，其中元素本身表示来自第一个列表的一个或多个元素的信息聚合)。它如何将列表从一个列表折叠到另一个列表取决于第一个列表中的数据。该算法需要跟踪<em

浏览 0提问于2010-05-11得票数 1

回答已采纳

4回答

数据非正态化与C#对象数据库序列化

mysql、asp.net-mvc、serialization、sphinx、object-persistence

我正在使用一个DB表来处理各种不同的实体。这意味着我不能在其中有任意数量的字段来保存各种不同的实体。我希望只保存最重要的字段(日期、引用IDs各种其他表的外键、最重要的文本字段等)。第二个最明显的选择是JSON，它通常更短，而且也可能更快地序列化/反序列化.而且可能也更快。但这是真的吗？我的对象也不需要严格地序列化，因为JsonSerializer通常能够序列化任何东西。为了获取信息，我在MySql上使用了MySql。Sph

浏览 3提问于2010-04-14得票数 2

回答已采纳

2回答

如何处理多变量LSTM中的多步时间序列预测

tensorflow、deep-learning、time-series、keras、lstm

我试图在Keras中使用多元LSTM进行多步时间序列预测.具体来说，我最初为每个时间步骤都有两个变量(var1和var2)。在遵循在线教程之后，我决定使用时间上的数据(t-2)和(t-1)来预测时间步骤t的var2值。正如示例数据表所示，我使用前4列作为输入，Y作为输出。我开发的代码可以看到，但我有三个问题。该模型能很好地预测var2在时间步长t上的值，但是，如果我想在时间

浏览 14提问于2017-10-24得票数 9

回答已采纳

3回答

如何最好地检索每条记录的最新前一条记录

sql

假设您有一个简单的表，它表示由someID标识的另一个实体的时间序列。每行由someID和时间戳标识，时间戳不受任何常规增量的影响，即间隔可以变化：( rowTS datetimeALTER TABLE someSeries 有没有一种优雅而有效的方法(所以不使用笛卡尔乘积)来

浏览 0提问于2012-10-02得票数 0

回答已采纳

2回答

BigQuery -时间序列和选择“最新”记录的最有效方法

google-bigquery

在我们的BQ设计中，我们有一个customer表(嵌套的原始数据)，它是来自我们的微服务层的事件(运动流的消耗)，其中每个事件都有该事件所针对的实体的最新实体快照(更改后的后处理图像)。(这与为给定ID更改和更新一行不同) 因此，如果这只是附加的，那么这个表的大小当然会随着时间的推移而增长-每个事件的更改都会有一个条目。这种体系结构的结果是，我需要一个位于原始时间序列数据之上的视图(记住，有时可能有重复的数据)，它在这些条件下返回最新的记录。最新<em

浏览 3提问于2017-07-15得票数 5

回答已采纳

3回答

如何将R列表对象保存到数据库中？

database、r、nosql

假设我有一个R对象的列表，这些对象本身就是列表。每个列表都有一个定义的结构:数据、适合数据的模型和一些用于识别数据的属性。一个例子是特定国家的某些经济指标的时间序列。因此，我的list对象具有以下元素：country -国家名称，例如美国model - ARIMA排序由auto.arima找到合适的格式，这也可能是一个列表。有没有可能用像MongoDB这样的奇特

浏览 0提问于2012-07-24得票数 4

1回答

Python:序列化/反序列化大量数据

python、serialization

现在，由于我使用这些数据来输入一个神经网络，这些数据需要进行一些预处理，以便将其转换为网络所期望的: 250,000的列表，其中该列表中的每个元素都是一个由0和1组成的20x40矩阵(列表列表)。完成预处理大约需要7-9分钟，而在这段时间里，我可以在我的笔记本电脑里做任何事情。甚至最小化IDE窗口也是一项极其困难的任务。我希望从文件中加载数据，转换为二进制向量，对其进行整形，并将其序列</e

浏览 3提问于2015-06-17得票数 0

回答已采纳

2回答

ORDER BY在PARTITION BY函数中的作用是什么？

sql、oracle、sql-order-by、partition-by

我有一张表，后面有数据，------- --------- ----------------------3 18/04/2017 12:00:00 AM 当我执行下面的查询时，我得到了错误的最大序列12:00:00 AM 3 1024 1 01/07&#x

浏览 2提问于2018-08-09得票数 3

1回答

Django数据库规划-时间序列数据

python、django、database、postgresql、time-series

数据必须通过CSV文件在游戏和网站之间传输。所以在结构上，我被限制在CSV能做的事情上。该网站将允许您选择一个比赛会话/圈，并将此信息绘制在单独的时间序列图上(对于每个变量)，并且重要的是允许您将您的会话与其他人进行比较，以了解差异所在。在我心目中，最简单的结构是为每条赛道有一个单独的表，然后每一行/条目将是该赛道上的一个比赛会话。此表中的字段将是上面的变量。我的问题是： 1)以

浏览 2提问于2014-12-30得票数 6

回答已采纳

1回答

产品α-num序列号的数学运算-数据库设计

mysql、sql、database、serialization、database-design

所以在我的数据库里，我得到了表格Box (BoxId,prodId,From,To,Available)Box( 1,1,ABC00000C,ABC00099K,100)SELECT From + 50 FROM BOX 我如何处理序列号以

浏览 0提问于2017-10-11得票数 1

回答已采纳

2回答

当增量值重新开始时，如何排除行？

sql-server、tsql、sql-server-2008-r2

我是一个新手海报，但花了很多时间在这里研究答案。我不太清楚如何使用Server 2008 R2创建一个SQL结果集，这个结果集应该使用更现代版本的铅/滞后。我试图根据一列的顺序来聚合数据，但是每个序列中可能有不同数量的实例。我知道序列已经结束的唯一方法是下一行具有较低的序列号。所以它可能是1-2，1-2-3-4，1-2-3，我必须想出如何用它来合成3种聚合体。数据是由instanceDate排序的(请忽略这里的日期格式)，当查询找到一个int

浏览 2提问于2015-11-19得票数 3

回答已采纳

2回答

使用zoo读取并在列上拆分数据帧

r、time-series、zoo

我有一个表，其中包含对restaurants分数的观察(由ID标识)。变量mean是以每天为中心的一周窗口中收到的评论的平均评分(即从之前的3天到之后的3天)，变量count是在同一窗口中收到的评论的数量(请参阅下面的代码以获取随机生成的我的数据框样本的dput )。在粒子中，我希望在单个值中对给定月份的所有评级或计数进行平均。我认为zoo应该帮助我很好地做到这一点:给定示例中的数据帧，我认为我可以将其转换为动物园时间</em

浏览 0提问于2013-02-23得票数 2

1回答

如何在IBM betezza aginity sql数据库工作台中导出大型表时添加列名

sql、database、export、netezza

我需要将一个表(60 GB)从IBM netteza aginity sql数据库工作台导出到csv文件。如何添加列名？谢谢

浏览 2提问于2014-10-03得票数 1

点击加载更多