BigQuery:如何在窗口函数上合并HLL草图？(在滚动窗口中计算不同的值)

文章/答案/技术大牛

发布

2回答

sql、google-bigquery、hyperloglog

我尝试的下一件事是使用以下解决方案https://stackoverflow.com/a/47659590 -将每个窗口的所有不同的user_ids连接到一个数组中，然后计算其中的差异。下一步是使用HLL草图用一个小得多的值来表示不同的in，这样内存问题就不大了。我也尝试了MERGE，也得到了同样的

浏览 30提问于2019-02-22得票数 3

回答已采纳

2回答

如何使用数据流运行器将hyperLogLog字段从ApacheBeam保存到BigQuery

java、google-bigquery、google-cloud-dataflow、apache-beam、hyperloglog

我需要将所有草图从ApacheBeam保存到BigQuery中。但是我找不到一种方法将素描本身保存到BigQuery。为了能够稍后通过时间滑动将其与合并函数和其他函数一起使用:请参阅此 .apply("hll-count", Combine.perKey(ApproximateDistinct.ApproximateDistinctFntableRow.se

浏览 8提问于2019-04-04得票数 0

5回答

BigQuery:如何计算每一天和类别的不同访问者的运行计数？

google-bigquery

在Google BigQuery中，我有一张这样的桌子： startTime visitorId10) < left(a.startTime,10)ORDER BY a.category, day 我还尝试使用分区函数，但似乎不支持计数不同

浏览 4提问于2013-11-28得票数 4

回答已采纳

1回答

谷歌BigQuery的HLL+精确度

google-cloud-platform、google-bigquery、hyperloglog

使用HLL.INIT(...)和HLL.MERGE(...)的精度如下所示：然而，我想知道是否有一个基数大小，在这个大小下，HLL保证是准确的。例如，如果我有10个不同的值，并且我在不同的区域将它们“合并”在一起，这是每次都是100%准确的，还是会受到HLL误差范围的影响？换句话说，对于每一级HLL Pre

浏览 2提问于2019-05-25得票数 2

2回答

在BigQuery中的滚动窗口上使用NTILE函数(滚动入库/滚动分位数)

sql、google-bigquery

我的目标是在BigQuery中创建一个执行以下操作的查询：对于每一行，查看前24小时和之后24小时的窗口，并获得作为窗口中心的特定行的相关“存储桶号”(如在NTILE(5)函数中)。我可以在Python语言中使用pd.DataFrame.rolling.apply和一个定制函数来打包并返回值，但我想使用BigQuery来完成。我在</

浏览 29提问于2021-08-26得票数 0

回答已采纳

2回答

Google BigQuery标准SQL -销售滑动窗口

google-bigquery

我想知道如何最好地在BigQuery standardSQL (而不是旧版)中做一个翻滚和滑动的窗口。Apache使这非常容易--对于长度为10分钟的‘滑动’窗口，每5分钟滑动一次，groupBy(“10分钟”，"5分钟“)和一个翻滚的窗口groupBy(”10分钟“)。(请注意总数上的结构) 每时每刻的销售窗

浏览 3提问于2017-06-10得票数 1

回答已采纳

1回答

pandas:计算blackman窗口的最大值:缺少函数pandas.core.window.Window。[max，apply]

python、pandas、numpy、window、rolling-computation

在pandas中，我正在尝试计算Series滚动窗口的blackman窗口类型的最大值。为此，我需要使用blackman win_type在滚动窗口上运行自定义函数。与返回pandas.core.window.Rolling的默认win_type不同，任何其他win_type都返回pandas.core.window.Window，它缺少

浏览 1提问于2018-09-17得票数 1

2回答

Google BigQuery:滚动计数不同

sql、google-bigquery

我有一个表，它只是一个日期和用户ID的列表(不是聚合的)。我已经尝试过窗口函数，但不知道如何根

浏览 3提问于2016-02-03得票数 3

1回答

使用javascript登录(php)

php、javascript、sql

我正尝试在我的页面中添加一个登录向下滚动窗口。窗口本身运行良好()，但现在我需要一些帮助-我需要一种方法来将新的输入表单集成到我的实际登录系统中。在向下滚动窗口中，您可以看到两个字段(用户名和密码)和submit按钮。但在实际的登录系统中，我有一个全新的窗口()，我在其中执行整个检查和会话启动。我可能会将php

浏览 2提问于2011-11-20得票数 0

回答已采纳

1回答

使用Mean Shift解释图像分割

algorithm、image、image-processing、image-segmentation

有人能帮我理解均值偏移分割的实际工作原理吗？这是我刚刚做的一个8x8矩阵 103 147 147 153 147 156 153 104156 153 147 147 153 153 104 使用上面的矩阵，是否有可能解释均值偏移分割如何将3个不同级别的数字分开？

浏览 0提问于2011-01-29得票数 112

回答已采纳

1回答

如何使用无偏移的存储写入API插入到BigQuery中？

google-bigquery

如果应用程序使用Java将事件作为行插入到BigQuery表中，那么我希望避免意外地多次插入相同的事件/行(因为错误、重试等等)。使用，我能够使用以下函数的id参数依赖于。com.google.cloud.bigque

浏览 10提问于2022-02-06得票数 0

1回答

在1.4版本的Apache Flink DataStream上是否有与之等效的foldLeft运算符

apache-flink、flink-streaming、flink-cep

我有一个这样的流设置，使用Apache Flink1.4，首先是DataStream，然后是keyBy，然后是window，最后是aggregate接下来我想做的是一个scala foldLeft的等价物。有没有提供这种功能的操作员。谢谢

浏览 2提问于2017-12-23得票数 2

5回答

新译本:怎样才能滚动到页面的底部？

java、gwt、scrollbar

在我的页面上，我有一个默认隐藏的面板。必要时，我可以通过myPanel.setVisible(true)显示它。在此之后，窗口的高度会增加，窗口滚动条会出现。问题是窗口不会自动滚动到底部，这是所需的行为。我怎么才能修复它？我只想把我的页面滚动到底部。我知道Window.scrollTo (LEFT, TOP)能帮我。但问题是，我不知道如何计算页

浏览 0提问于2013-02-04得票数 2

回答已采纳

4回答

用于28天滑动窗口聚合的BigQuery* SQL (无需编写28行SQL)*

sql、google-bigquery、sliding-window

我试图用滞后函数在BigQuery中计算一个28天的移动和。从Felipe可以看出，您可以使用滞后函数。

浏览 3提问于2014-12-19得票数 15

回答已采纳

1回答

在Flink Streaming中按键对记录进行分组并收集到ListBuffer中

apache-flink、flink-streaming

我有一个DataStream[(String, somecaseclass)]类型的Flink DataStream。我想对Tuple的第一个字段String进行分组，并创建一个ListBuffer[somecaseclass]。以下是我尝试过的方法：inputstream .fold(emptylistbuffer){case(outputbuffer,b) => {outputbuffer+=b._

浏览 12提问于2017-12-28得票数 3

回答已采纳

2回答

用win32 api绘制笛卡尔系统

c++、winapi、win32gui

是我干的。hDC, 600, _y, blue); Sleep(_sTime);}我试着在hdc上画线。当窗口被滚动时，没有办法阻止hdc不滚动。然后，我从窗口创建了另一个hDc，但没有成功。怎么做？问题是有窗口<

浏览 0提问于2015-12-29得票数 1

回答已采纳

1回答

计算滚动窗口中第一个和最后一个值之间的差异

python、pandas、dataframe、lambda、sliding-window

我在一个单列数据帧上使用Pandas滚动窗口工具，该数据帧的索引为日期时间形式。df2 = df.rolling('3s').apply(...)

浏览 4提问于2018-01-11得票数 4

回答已采纳

2回答

Pandas:获取先前值大于0的行

python、pandas、dataframe

我有熊猫的数据0 1 -0.52 8 3.04 4 345.05 6 -7.07 47 3.09 4 -78.05 6 -7.0 9 4 -78.0 我试过滚动，但

浏览 1提问于2021-06-22得票数 2

回答已采纳

1回答

如何在没有SSC软件包的情况下获得最大滚动窗口

stata

如何在Stata中创建包含应用于另一个变量的动态滚动窗口的最大值的变量？滚动窗口必须能够在循环中迭代更改。max(numvar, L1.numvar, L2.numvar)会给出我想要的单一窗口大小，但是如何在循环中迭代地更改窗口大小呢？我目前用于计算滚动金额的代码(该算法归

浏览 3提问于2021-01-04得票数 1

回答已采纳

1回答

跳窗是什么意思？

apache-kafka、ksqldb

FEMALE' AND LCASE (regionid) LIKE '%_6' EMIT CHANGES;什么时候可以跳窗？

浏览 2提问于2020-07-07得票数 1

回答已采纳

点击加载更多