BigQuery:在查询执行期间超过118%的峰值使用资源，在分析over()中使用最多

文章/答案/技术大牛

发布

1回答

sql、google-bigquery、bigquery-standard-sql

STRING NULLABLE d_cd TIMESTAMP NULLABLE 该表有140501802行，我正在尝试获取此查询的结果Peak usage: 118% of limit.Top memory consumer(s): sort operations used for analytic OVER() clauses: 98% other/unattributed: 2%谁可以帮助我解决一些其他的方法来减轻

浏览 13提问于2019-01-30得票数 1

2回答

在bigquery中使用DBSCAN进行聚类

google-bigquery、bigdata、gis

我有一个Bigquery表，其中只有一个名为'point‘的列。它包含我希望使用ST_CLUSTERDBSCAN函数在BigQuery中进行聚类的位置坐标。我使用以下查询：FROM mytable 查询执行期间超出<em

浏览 1提问于2021-08-17得票数 2

回答已采纳

3回答

超过BigQuery的资源

google-bigquery

当运行下面的查询时，我得到了错误：select *, row_number() over(PARTITI

浏览 1提问于2018-12-12得票数 6

2回答

BigQuery中的解析函数问题

google-bigquery、analytic-functions

从6月2日开始，我们就遇到了解析函数的问题。当查询(而不是分区)传递一定大小时，查询失败，出现以下错误：查询执行期间超出的资源:无法在分配的内存中执行查询。峰值使用: 125%的限制。顶级内存使用者:分析OVER()子句: 97%其他/未归因:

浏览 9提问于2020-06-12得票数 0

3回答

有办法增加BigQuery中查询的分配内存吗？

google-bigquery

不幸的是，我得到了错误查询执行期间超出的资源:无法在分配的内存中<em

浏览 1提问于2019-05-16得票数 5

1回答

获取顶级专利国家，BQ公共数据集中的代码

sql、google-bigquery

我试图使用一个分析函数来获得前两个国家的专利申请，而在前两个国家中，获得前两个申请种类。答案将如下所示：US PGB X下面是我用来获取以下内容的查询这是一个信息：查询执行期间超出的资源:无法在分配的内存中执行

浏览 1提问于2019-05-23得票数 1

回答已采纳

1回答

抛出“查询执行期间超出的资源”的大查询

google-cloud-platform、google-bigquery

在Google BigQuery中，我正在运行一个使用组by并接收错误的查询，“在执行查询过程中，资源超出了在分配的内存中无法执行查询。峰值使用率:限制的152%。顶级内存使用者:用于分析OVER()子句

浏览 3提问于2020-08-20得票数 2

2回答

如何使用BigQuery插槽

google-bigquery

最近，我想在bigquery中运行一个查询，在某些表(表名适合xxx_mst_yyyymmdd)上使用"group“，.The行将超过1000万行。不幸的是，查询失败了，出现了以下错误：查询失败错误:在查询执行期间超出了资源。我用我的查询语言做了一些改进，随着数据的增加，这个tim

浏览 2提问于2015-11-03得票数 1

1回答

BigQuery ML Tensorflow模型- UDF内存不足

tensorflow、machine-learning、google-bigquery

我试图在BigQuery中运行一个Tensorflow模型。该模型是BERT的一个变体，其大小足以适应BigQuery模型的限制(<250 to )。我尝试直接从BigQuery控制台使用以下查询使用模型生成预测： input_1, prediction, ML.PREDICT(MODEL `MY_IMPORTED_MODEL`, S

浏览 3提问于2021-06-14得票数 1

1回答

程序Google脚本在BigQuery“查询执行期间超出资源”时抛出错误

sql、google-apps-script、google-bigquery

我使用脚本运行视图，并使用查询结果更新BigQuery中的表。然后，我在Data中使用这些表进行表/可视化。我注意到的一个问题是，有时我的视图会突然抛出一个错误“查询执行期间超出的资源”。不过，我的Google脚本将成功运行，但该表将保持不变，因为视图无法执行。因此，data可视化

浏览 0提问于2019-05-31得票数 1

回答已采纳

2回答

谷歌BigQuery中的“超出配额:为此项目扫描的自由查询字节数太多”

google-bigquery、quota

我从昨天开始就收到了上面的错误，在JasperReports服务器上试用了谷歌BigQuery。我找不到任何关于这方面的信息，因为第一个100 be应该是免费的，而BigQuery访问报告说：每天处理的数据量为0 MB峰值0.00 MB平均值我也没有达到免费查询/用户

浏览 3提问于2013-02-28得票数 5

回答已采纳

1回答

资源超出限制大查询

python、sql、google-bigquery、google-cloud-platform

如果我在不使用LIMIT子句的情况下执行上面的查询，我会得到一个错误消息"Resources exceeded“。1)我实际上只

浏览 0提问于2017-06-20得票数 2

1回答

如何下载BigQuery中的所有查询？

google-bigquery、google-data-studio

我已经创建了一个小型的DataStudio仪表板，它消耗了来自一个相当大的表的BigQuery数据--今天是4.5GB，每天都在增加。顺便说一句，如果你对如何降低查询成本有想法，请分享。我已经减少了用于构建结果的列的数量，并且我正在考虑进一步减少它们的方法。

浏览 1提问于2021-03-22得票数 0

回答已采纳

1回答

BigQuery分区表插入过去的数据

google-api、google-cloud-platform、google-bigquery

我们想要开始在BQ中使用“分区表”，但是文档()说，只可能使用“流插入”。这是否意味着我们不能使用分区表，或者还有其他解决办法？如何为分区表保存超出界限的数据(7天到3天)？一般来说，我们

浏览 2提问于2018-03-12得票数 7

回答已采纳

1回答

当我使用join query时，查询执行期间超出的资源

google-bigquery

我尝试在Bigquery上运行连接查询，我得到了“表太大，无法连接”的错误(我理解)。然后，我尝试使用JOIN EACH而不是JOIN，得到一个错误消息“查询执行期间超出了资源”。我也需要注意每个连接的限制吗？

浏览 0提问于2013-04-11得票数 0

1回答

如何在table/data-to-insights:ecommerce.web_analytics?上查找主键和索引

google-bigquery

我不能在表上运行有效的查询。我不知道如何找出表上定义的主键、其他键和索引是什么。如何查找在data-to-insights.ecommerce.web_analytics表上定义的索引？我正在尝试下面这样的查询，它应该只获得一条记录，以找到一些具体的样本数据来处理，同时又是有效的。它总是要求将最大字节数增加到至少30MB左右。20161128' AND wa.fullVisitorId='52444509471

浏览 0提问于2019-06-04得票数 0

2回答

netlify部署构建对于gatsby内容丰富的站点来说是失败的。

reactjs、gatsby、netlify、contentful

我正在尝试将一个Gatsby内容的站点部署到Netlify，并且在部署它时会给我带来构建错误。在现场测试的同时，它的工作也很完美。下面是错误的屏幕截图：在生产过程中，npm run build命令运行得很好。我认为在部署时，内容API键有问题，但我不知道它是什么。

浏览 17提问于2021-06-27得票数 2

回答已采纳

3回答

从大熊猫中加载BigQuery表DataFrames

python、pandas、google-cloud-platform、google-bigquery、parquet

我正在尝试使用官方的python客户机库将一个相对较大的pandas dataframe df加载到Google BigQuery表table_ref中。到目前为止，我已经尝试了两种不同的方法：client = bigquery.Client()2)将数据存储保存到位于uri parquet_uri

浏览 12提问于2020-03-29得票数 5

回答已采纳

1回答

如何从日志资源管理器中去复制GCP日志？

google-cloud-platform、google-cloud-logging

我正在使用GCP日志资源管理器存储来自管道的日志消息。我需要通过查看来自特定事件的日志来调试问题。除了末尾的事件ID外，此错误的消息是相同的。因此，例如，错误消息是我知道我可以使用以下语法来构造一个查询，该查询将返回具有此特定消息结构的日志 resource.type="some_resourceresource.labels.j

浏览 8提问于2022-04-28得票数 1

回答已采纳

2回答

BigQuery on threshold如何触发对用户组的邮件通知？

google-cloud-platform、google-bigquery、google-workflows

我用GCP BigQuery编写了下面的查询，当quantity列的阈值超过1000时，我使用error函数弹出错误消息。SELECT ERROR(CONCAT("Over threshold: ", CAST(quantity AS STRING)))WHERE quantity> 1000 当我在BigQuery中安排此查询时，我会

浏览 20提问于2021-05-26得票数 1

点击加载更多