BigQuery如何在延迟30分钟的情况下处理几个小时的数据？

文章/答案/技术大牛

发布

1回答

google-bigquery

大家好，使用这个查询来获取项目的所有作业，但是假设我在中午12:00运行这个查询，它应该得到从10:30到11:30的数据，但我还没有弄清楚where子句来实现这一点有什么想法吗？

浏览 14提问于2021-02-03得票数 0

回答已采纳

1回答

已从Web UI中删除数据集，但未更改计费报告

google-bigquery

我从BigQuery Web中删除了几个BigQuery数据集。这些数据集在长期存储中包含大约400 TB的表。令人惊讶的是，即使在48小时的删除操作之后，我也没有看到账单报告中的长期存储费用图表/数据有任何下降。当只删除表格时，我没有注意到这样的延迟。在计费中反映数据集删除的变化是否存在时延？

浏览 13提问于2020-05-31得票数 0

1回答

如何实现大熊猫的大查询

python、pandas、google-bigquery、flatten

我有一个dataframe，它拥有表中的所有数据(选择*来自表)，但是如何实现下面的逻辑呢？* -- change this to your google analytics 4 export location in bigquery`ga4bigquery.analytics_250794857.events_*` -- define static and

浏览 11提问于2022-09-01得票数 -2

1回答

Firebase分析数据将被导出到BigQuery多长时间

google-bigquery、firebase-analytics

我已经在Firebase控制台中启用了BigQuery集成，并对此有一些问题： Firebase分析数据将被导出到BigQuery多长时间？我有从Firebase到BigQuery的集成，不知怎么的，Firebase数据导出被某人禁用了。我昨天在17:00左右启用了它，到目前为止还没有在BigQuery中更新数据。为什么即使数据从日内数据集移动到事件数据集，Firebase A

浏览 9提问于2020-05-08得票数 1

1回答

对于GCP上的数据管道，最好的服务是什么

google-app-engine、google-cloud-platform、devops、google-kubernetes-engine

我想在GCP上的项目上部署服务(使用Apache光束的python脚本)，执行时间有时长达24小时。我需要这个服务与数据管道始终工作。此外，我还有一个web应用程序，它将使用来自数据管道的结果。我的解决方案是，我在GCP app Engine上部署web应用程序，在K8s集群上部署python脚本，因为作业可以持续24小时，而且App Engine是无服务器的，所以serverless中的所有东西都应该是短时间<em

浏览 9提问于2021-01-10得票数 0

回答已采纳

1回答

利用谷歌BigQuery制作网络应用程序

google-bigquery

我在Google中有一个包含域数据的大表，我想创建一个类似于的web应用程序在每次打开或刷新页面时，是否可以不进行查询，这是最方便的方式。提前感谢！

浏览 3提问于2015-01-27得票数 1

回答已采纳

1回答

将计费数据导出到BigQuery不起作用

google-bigquery

为了跟踪BQ的使用情况，我们创建了一个新的数据集，并在账单导出中对其进行了配置。但是在等待了一天之后，数据集似乎也是空的，因为没有创建新的表。是否需要进行其他设置才能使其正常工作。

浏览 0提问于2018-09-26得票数 0

1回答

在bigquery中删除和创建表是否会更新每天的配额限制？

google-bigquery

我正在创建一个数据管道，它每分钟将数据写入bigquery表，并最终超过配额限制。几个小时后删除该表，然后重新创建它是否会更新该表的配额限制？我正在使用bigquery的Python API来完成此任务。需要在不超过配额限制的情况下更新bigquery中的同一个表。

浏览 0提问于2019-01-21得票数 0

1回答

消防基地分析出口缺失期及其他问题

firebase、google-cloud-platform、google-bigquery、firebase-analytics

如果您能帮助我处理Firebase导出到BigQuery的以下问题，我将对此表示感谢。数据导出在2019年12月29日之前一直运行正常，之后由于存储限制而停止，不幸的是，技术团队没有采取行动。最近，我们升级到了2020年7月5日的Blaze计划，数据输出也恢复了，但bigquery数据集从2019年12月29日到2020年7月4日还存在差距，如果数据还在Firebase，那么为什么不转移到bigquer

浏览 4提问于2020-07-15得票数 0

1回答

GA到GBQ数据流定时？

google-analytics、google-cloud-platform、google-bigquery

我问这个问题是因为我没有收到谷歌论坛的答复，也没有收到GCP支持小组的答复。我已经将产品Google BigQuery ( GBQ )链接到Google ( GA )以获得视图ID，该视图ID将从GA到GBQ数据集中的所有数据在各自表中的两个视图下获取如下：我有两个关于日内意见的问题即使是GBQ也不支持GA的实时数据，至少他们应该在几个小时的缓冲区内提

浏览 0提问于2018-02-13得票数 0

1回答

Google Cloud数据流中的自动缩放

google-cloud-dataflow、autoscaling

通常，一个工作进程足以处理传入的数据，但如果有积压，我们希望自动增加工作进程的数量。我们的流水线从Pubsub读取数据，并每3分钟使用加载作业将批处理写入BigQuery。我们从一个worker开始运行此管道，向pubsub发布的数据是一个worker消耗的数据的两倍。2小时后，自动伸缩仍然没有生效，因此积压的数据</

浏览 0提问于2018-06-29得票数 7

1回答

BigQuery比SQL Server慢

google-bigquery、google-cloud-platform、datamart

我在我的数据集市中比较了SQL Server2016(星型模式和使用基于列的聚集索引)和BigQuery (单个表)之间的查询执行时间，..I大约有2000万个条目。这是我的问题-我需要每月石油，天然气，水体积的总和。10年来，我每天只有一次录入卷。我有6500个实体，每个实体只有一个条目，即石油、天然气、水的体积，总共有10个years..so行...6500个(总实体)*10(总年数)*365(总天数)目前是=23725000..ignore闰年<

浏览 7提问于2017-09-01得票数 0

2回答

Firebase分析控制台中的自定义事件

android、firebase、firebase-analytics

我遵循Firebase分析入门指南，将我的google分析项目导入Firebase。除了在进行测试时看不到任何新数据(自定义事件和新用户)之外，一切都进行得很顺利。没有实时的功能，所以至少我会看到我的自定义事件发布在仪表板上，只要应用程序发出它们。这里是我想要达到的目标的一个例子：从逻辑猫中我可以看到： Logging event (FE): test_event但分析仪表板仍然是空<e

浏览 1提问于2016-05-22得票数 4

回答已采纳

2回答

选择大数据仓库

google-bigquery、amazon-redshift、cloudera、cassandra-2.0、bigdata

现在，我面临的挑战是创建数据仓库来存储和处理大量的数据。估计每天发生的事件超过70亿次。数据应保存7天。平均事件大小为0.5~1KB.我们需要处理这些数据，以便：公司内部使用的

浏览 2提问于2016-05-24得票数 5

3回答

在BigQuery表中可以每小时进行分区吗？

google-bigquery

但是，模型中有没有什么东西阻止人们用其他时间段(例如，小时或周)来填充表中的分区呢？将分区放在一个“小”表中有什么限制或缺点吗？

浏览 0提问于2017-01-12得票数 11

2回答

<-> -> BigQuery

python、google-app-engine、google-bigquery、google-cloud-storage

我们正在开发处理日志数据的项目。我的想法是日志数据的结构经常会发生变化，这会导致一个错误，当插入到BigQuery

浏览 5提问于2014-09-05得票数 2

回答已采纳

1回答

是什么导致了Google BigQuery查询的这么多开销？

python、google-cloud-platform、google-bigquery

我运行以下函数来分析BigQuery查询： t0 = time.time()client = bigquery.Client() res = client.query(q) t2 = time.time()它只在位置US (相同的区域等)获取一个结果，所以网络传输应该(我希望？)是什么造成了这里的一切？

浏览 0提问于2018-12-29得票数 11

回答已采纳

2回答

避免大查询预热的活动

google-bigquery

在流数据文章中，提到了“在几个小时的不活动之后，在下一次插入期间将再次发生预热期。” 哪些活动可以让连接保持温暖？我将编写连接池，预计它将提供bigquery对象，该对象可以在没有任何预热期的情况下放入数据。

浏览 1提问于2014-08-12得票数 2

1回答

在云数据准备中使用带参数的数据集进行BigQuery？

google-bigquery、google-cloud-dataprep

我有几个具有每天创建的表的BigQuery数据集，如是否

浏览 1提问于2019-04-10得票数 0

3回答

向bigquery吞并数据的最佳方法

google-cloud-platform、google-bigquery、etl、data-ingestion

我有异构的资源，比如驻留在prem上的平面文件，共享点上的json，服务数据的api等等。哪个是将数据带到bigquery环境的最好的etl工具？提前感谢

浏览 24提问于2022-03-25得票数 1

回答已采纳

点击加载更多