Bigquery -使用ROW_NUMBER()从10M表创建柱状图时，查询执行期间超出了资源

文章/答案/技术大牛

发布

1回答

google-bigquery

我有一个包含大约10M条记录的表，其中每条记录都是一个ID和一定的概率(范围在0到1之间)。所有ID都是唯一的。我正在尝试将这个10M数据集分解为1000个bin -这意味着每个bin中将有10k条记录。但我想根据概率来计算这些箱子，因此我首先按照概率的降序排列表格，然后尝试创建箱子。record and then create 1000 groupsselectceiling(1000.0*ROW_NUMBER() over(orderprediction

浏览 12提问于2019-04-25得票数 1

1回答

有没有办法在BigQuery中保存的视图中使用脚本方法？

sql、google-cloud-platform、view、google-bigquery

我目前正在使用BigQuery中的一个视图来聚合来自许多不同大表的数据。然后，我使用该视图创建一个物化的平面表，并使用MERGE语句对其进行更新。但是，我最近添加到视图中的左连接导致实例化物化表的查询返回错误：“查询执行期间超出了资源”。据估计，现在的视图将处理60 of的数据。为了解决这个问题，我尝试使用脚本为视图中的不同子<

浏览 67提问于2020-03-11得票数 0

1回答

在shell脚本或大型查询中创建多个视图

python、google-bigquery、sh

当我将数据从MySQL导出到BigQuery时，某些数据被复制。为了解决这个问题，我想到了使用行号创建这个表的视图。执行此操作的查询如下所示。问题是我的数据集中有很多表是重复的，可能当我添加新表并将它们导出到大型查询时，它们会有重复的数据，我不想每次在我的数据集中添加新表时都创建这种类型的查询(我希望在导出新表

浏览 1提问于2018-04-27得票数 0

1回答

BigQuery ML Tensorflow模型- UDF内存不足

tensorflow、machine-learning、google-bigquery

我尝试直接从BigQuery控制台使用以下查询使用模型生成预测： input_1, prediction, ML.PREDICT(MODEL `MY_IMPORTED_MODEL`, SELECT FROM ))资源在查询执行期间超出我

浏览 3提问于2021-06-14得票数 1

1回答

大查询STRING_AGG()多个字段会产生错误

google-cloud-platform、google-bigquery

我的查询如下所示 DISTINCT id, STRING_AGG(DISTINCTMAX(timestamp) AS timestamp user id, buisness_email 当我在bigquery中的2TB表上运行这个查询并设置查询设置将输出导出到一个表时</

浏览 4提问于2020-09-25得票数 0

3回答

从大熊猫中加载BigQuery表DataFrames

python、pandas、google-cloud-platform、google-bigquery、parquet

我正在尝试使用官方的python客户机库将一个相对较大的pandas dataframe df加载到Google BigQuery表table_ref中。到目前为止，我已经尝试了两种不同的方法：client = bigquery.Client()2)将数据存储保存到位于uri parquet_uri的Google中的一个拼花文件中，并从该文件加载表</

浏览 12提问于2020-03-29得票数 5

回答已采纳

3回答

数据流管道-“至少在没有输出或完成状态完成<STEP_NAME>的情况下，在步骤<TIME>中进行处理”。

google-cloud-platform、google-bigquery、google-cloud-dataflow、google-cloud-pubsub

因为我不允许在同一个线程中问我的问题，而另一个人有同样的问题(但不使用模板)，所以我正在创建这个新线程。我不能做这么多，因为我不能在模板中选择光束版本。$DatasetServiceImpl.insertAll(BigQueryServicesImpl.java:803) at org.apache.beam.sdk.io.

浏览 0提问于2019-05-24得票数 0

回答已采纳

1回答

BigQuery内部错误或仅在写入表时超出资源

google-bigquery

我在使用Google BigQuery时遇到了一个奇怪的问题，如果向目标表写入数据(通过UI或API)，查询将不会运行。但是，如果我从UI运行，然后使用“另存为表”按钮来创建表，则查询可以很好地工作。 dt <= CURRENT_TIMESTA

浏览 0提问于2016-02-18得票数 2

1回答

BigQuery -无法运行select * from保存视图，该视图成功地独立运行

google-bigquery

目前，我在BigQuery中有一系列的视图，它们互相“输入”，很像附加的图像。在图片中，绿色圆圈表示已创建的视图，蓝色表示已经创建的表，这些表每天由传入数据更新。我能够成功地运行组成V8的脚本(在v6.properties= V7属性上选择* V6 JOIN V7，但是我得到了一个“错误:查询执行中超出的资源”。当我从V8运行SELECT *时出错。这不应该是同一个查询吗？是什么使SELECT *<

浏览 0提问于2015-12-14得票数 1

2回答

使用FLATTEN的SQL调用导致"Error: Resources exceeded query execution“

google-bigquery

我当前正在尝试在BigQuery中运行以下SQL脚本(目标是将表保存出来)，但在没有行返回大小限制的情况下启动查询后，收到与容量相关的SQL处理错误。这是一个常见的错误：“错误:查询执行期间超出了资源”。hits.time ASC 为作业提供的作业ID为: ua-web-analytics:job_60fxNnmo9gZ23kaji50v3qH9dXs.我已经阅读了其他关于这些错误的帖子，比如，我怀疑现在的问题是使用上面查询

浏览 0提问于2014-07-14得票数 2

3回答

是否可以将Google服务帐户限制在项目中特定的BigQuery数据集上？

python、google-cloud-platform、google-bigquery

我尝试在UI中添加一个条件，但是当我使用Name资源类型并设置等于Dataset 1的值时，我无法访问任何数据集--大概这个值是不正确的。或者数据集不是有效的名称资源。对于我的特定用例，我尝试通过API (使用BigQuery )执行SQL查询和修改表。案例A:我使用角色'BigQuery Admin'创建了一个服务帐户。此角色将传播到项目中的所有数据集-该属

浏览 10提问于2020-01-14得票数 4

回答已采纳

1回答

如何从日志资源管理器中去复制GCP日志？

google-cloud-platform、google-cloud-logging

我正在使用GCP日志资源管理器存储来自管道的日志消息。我需要通过查看来自特定事件的日志来调试问题。除了末尾的事件ID外，此错误的消息是相同的。因此，例如，错误消息是我知道我可以使用以下语法来构造一个查询，该查询将返回具有此特定消息结构的日志severity=WARNING jsonPayload

浏览 8提问于2022-04-28得票数 1

回答已采纳

5回答

无法将查询保存在计划查询中。“计划查询错误”

google-bigquery

我已经在BigQuery中创建了一个视图，并希望将其设置为update。当试图将查询保存到调度查询中时，会发生错误:调度查询错误 

浏览 15提问于2022-02-14得票数 1

回答已采纳

3回答

如何在BigQuery标准SQL中进行可重复采样？

sql、hash、google-bigquery、cross-validation

在中，Google的一名雇员解释了如何在BigQuery中为机器学习进行数据集的可重复采样。这对于创建(和复制)数据的培训/验证/测试分区非常重要。 airline, departure_schedule, arrival_delay [bigquery-sampl

浏览 17提问于2017-09-03得票数 7

回答已采纳

5回答

如何将Google与Google集成

google-bigquery、google-cloud-platform、google-cloud-sql、google-cloud-dataflow

这些数据需要被输入到对分析的大查询中，并且需要接近实时分析(作为最好的情况)，尽管现实中可能会有一些滞后。但我正试图设计一种解决方案，将这种延迟降到最低限度。我的问题有三部分- 将Cloud数据加载到BigQuery并使这种集成工作接近

浏览 4提问于2017-09-22得票数 11

1回答

理解BigQuery中每个BY组的“查询执行期间超出的资源”

google-bigquery

我正在编写一个后台作业，以便在BigQuery中自动处理A/B测试数据，并且我发现，在执行大型按语句分组时，我正在点击“查询执行期间的资源超出”。特别是：什么是正确的方法来近似内存使用和总内存我有可用的？特别是，如果我在查询较小的数据集，是否会得到更少的碎片/资源？有问题的查询看起来如下(实际

浏览 2提问于2014-03-24得票数 11

回答已采纳

3回答

BigQuery:通过在记录中添加字段来修改表模式是可行的吗

google-bigquery

指出，只能添加一个新字段，而不能修改现有字段。我的问题是，是否可以将现有字段添加到记录字段中。假设原始模式是： "fields":[ ]我想添加f2，所以模式是： {"

浏览 11提问于2020-01-13得票数 1

回答已采纳

2回答

在GCP中从日志接收器创建BigQuery数据集

google-cloud-platform、google-bigquery

resource.labels.cluster_name="mygkecluster" resource.labels.container_name="myapp1"但是，当我在BigQue

浏览 0提问于2020-12-30得票数 0

3回答

数据流管道-“不输出或完成状态完成的至少在步骤<STEP_NAME>中的处理.”

google-cloud-dataflow、apache-beam

奇怪的是，失败的步骤是不同的，一个是BigQuery输出，另一个是云存储输出。以下是我们正在接收的日志消息：Processing stuck in step <STEP_NAME>/StreamingInserts/StreamingWriteTables:103) at org.apache.beam.sdk.io.gcp.bigquery.StreamingWriteFn$DoFnInvoker.invokeFinishBundle(UnknownWriteShardsI

浏览 0提问于2019-03-04得票数 12

2回答

Google BigQuery* -查询成功运行，但结果未被推送到目标表。*

java、google-bigquery

我们通过Java运行针对BigQuery的夜间查询，该API指定要推送到的结果的目标表(写disposition=WRITE_TRUNCATE)。今天的查询似乎没有出现错误，但是结果没有被推送到目标表。在“失败”之后第二次手动运行它，运行良好。我们从“失败”查询中记录的JSON响应看起来很好(我混淆了任何敏感数据)： INFO: Job finished successfull

浏览 1提问于2014-01-23得票数 0

回答已采纳

点击加载更多