BigQuery错误：“无法在使用dml语句的作业中设置写入处置”

文章/答案/技术大牛

发布

1回答

为什么无法在BigQuery中更新表格集合Field=NULL WHERE 1=1~？

google-bigquery、null、sql-update

我正在谷歌BigQuery中尝试这个SET field = NULL 并得到此错误：“无法在使用DML语句的作业中设置写入处置”。怎样才能达到同样的效果呢？ 6/3更新:我的设置如下所示。还是给我同样的错误

浏览 0提问于2021-06-03得票数 1

1回答

google-bigquery、sql-delete

我正在尝试从BQ表中删除数据，昨天工作的语句今天停止工作，错误如下： delete from `project.my_dataset.my_table` where my_id='value' Cannotset write disposition in jobs with DML statements

浏览 30提问于2021-04-21得票数 2

1回答

GCP BigQuery* -事务由于并发更新而中止(尽管没有并发更新)*

sql、google-cloud-platform、google-bigquery

我有这样的事情： UPDATE `$BQ_DATA_PROJECT`.`$DWDB`.Table_a ; Commit transaction;由于对表的并发更新，事务被中止。GCP大型查询文档说，我们可以对一个表进行20个DML操作，但它只是在这方面失败了。这是随机的，有时失败，有时没有。如果我追求某个时间，它就成功了。有一件事情

浏览 4提问于2022-01-12得票数 0

1回答

查询表附加的BigQuery配额限制是否适用？

c#、google-bigquery

在我的C#应用程序中，我使用定期添加到分区表table1。目前，这种情况每天只发生在50-100人之间。table1", }) 我知道Big Query有许多限制，而且这些限制通常都有详细的文档记录说，“每个表每天更新1,000个”，但是文档也明确列出了哪些操作受到配额的影响。假设有一个明确的列表，也必须有一个“其他一切”的

浏览 4提问于2019-10-02得票数 2

回答已采纳

1回答

数据流作业是否达到了Bigquery配额和限制？

google-bigquery、google-cloud-platform、google-cloud-dataflow、apache-beam

我有大约1500个作业要用Dataflow来实现。这些工作将每天安排。我们可以在作业中使用Bigquery客户端库使用大量的DML语句。列出我对Bigquery配额和限制的关注。参考资料：https://cloud.google.com/bigquery/quotas 请确认我们是否需要在以下任何一个场景中考虑Bigquery</em

浏览 1提问于2017-11-28得票数 0

回答已采纳

1回答

Bigquery DML操作

google-cloud-platform、google-bigquery

我正尝试在单个分区表上执行5个并发更新查询。在5个分区中，3个来自同一个分区，2个来自不同的分区。在执行时，我预计3个查询中的一个将保持挂起状态(2个运行+1个挂起)，另外2个将处于运行状态，因为它们属于不同的分区。但我观察到来自同一分区的2个查询处于运行状态，其余3个处于挂起状态。是否就像两个查询同时处于运行状态，而其余的查询将处于挂起状态(排队)，如果所有查询都属于同一个表，而不考虑分区？

浏览 0提问于2020-11-04得票数 0

2回答

本文：https://cloud.google.com/bigquery/docs/writing-results指出可以用新数据覆盖BigQuery表，但我想要做的是覆盖一个分区(或多个分区)。我已经阅读了大量关于将数据插入到BigQuery (例如https://cloud.google.com/bigquery/docs/creating-column-partitions)的文档，

浏览 16提问于2019-09-28得票数 0

3回答

当从UI运行加载作业时，大查询现在会自动将长十进制值转换为数字。

google-bigquery

我有一个值"1.8299324324324324“，如果我将DML语句插入到BigQuery中，它会将其舍入并插入到Bigquery中。但是，对于相同的值，如果BigQuery在控制台上使用csv文件加载作业，则会出现以下错误。位置”：“查询”，“消息”：“无效数值: 1.8299324324324324字段:测试；值: 1.8299324324324324"，

浏览 0提问于2019-04-29得票数 5

1回答

BigQuery最大分区在2000年超过2500个分区

google-bigquery

根据，分区表可以有2500个分区： $ bq query --destination_table grey-sort-challenge:partitioning_magic.nyc_taxi_trips_partitioneduse_legacy_sql=false "select * from \`grey-sort-challenge.partitioning_magic.nyc_taxi_trips\`" 查询字符串中的错误:错误<

浏览 0提问于2018-03-28得票数 3

回答已采纳

1回答

如何处理大查询错误403:配额超过？

google-bigquery、mqtt、monitoring、iot、sensors

我们有一个python脚本，它订阅通过MQTT由IoT设备发布的数据，并每分钟将这些数据附加到一个大型查询表中。因此，我们每天都会将1440个作业附加到GCP设置的略低于1500日限制的大型查询表中。如果我们有更多的设备，这种方法肯定会失败。有没有人有实时监控传感器和在云中存储数据的经验？你用的是什么工具？谢谢

浏览 2提问于2021-12-21得票数 0

回答已采纳

2回答

无法用BigQuery中的DML语句在作业中设置目标表

python-3.x、google-bigquery

我正在使用BigQuery代码来使用bigquery.Client.query执行bigquery.Client.query sql命令。我得到的是不能在带有异常的作业中设置目标表。下面是我使用的Python代码 with open(query_file_name, mode="r") as query_file:

浏览 0提问于2019-04-04得票数 2

1回答

Python大查询错误: google.api_core.exceptions.BadRequest: 400无法在使用dml语句的作业中设置目标表

python、google-bigquery

我正在编写Python代码，以便使用bigquery.Client.query执行BigQuery sql删除命令语句。我得到了Cannot set destination table in job with DML statements exception。在此之前，我可以很好地使用Selection语句，但在删除时会出错from google.cloud import bigquery</

浏览 0提问于2020-03-06得票数 0

1回答

将CSV上传到桶中时丢失数据

function、csv、google-cloud-platform、bucket

把它放在上下文中，我有一个存储CSV文件的桶，还有一个函数，当您将新的CSV加载到存储桶中时，它可以将数据放入数据库。我试图同时上传100个CSV，总共有581.100条记录(70 MB)，所有这些文件都出现在我的桶中，并创建了一个新表。但是，当我做一个“选择计数”时，我只找到了267306条记录(占总数的46%)--我试图再做一次，不同的桶、函数和表，我尝试上传另外100个文件，这一次是4.779.100条记录(312 MB) --当我在大查询<em

浏览 9提问于2022-09-08得票数 2

1回答

查询执行过程中超出的资源:对于表[datet.table-name]有太多的DML语句未执行，限制为20

google-cloud-platform

我遇到错误当DML到bigquery时，请支持我解释或任何文档来解决问题。非常感谢 java.lang.RuntimeException：BigQueryError{reason=resourcesExceeded，location=null，message=Resources在查询执行过程中超出:太多未执行的DML语句与表稀有冷却器-170104:adrepo.dsp_谷歌_广告_资产_大师，极限是20}

浏览 0提问于2020-08-26得票数 1

1回答

BigQuery更新或删除DML

google-bigquery

最近通过BigQuery流(tabledata.insertall)写入的表不能使用UPDATE或DELETE语句进行修改。要检查表中是否有流缓冲区，请检查名为tables.get的部分的streamingBuffer响应。如果没有，则可以使用UPDATE或DELETE语句修改表。当我试图修改我的表时(最近插入了数据行，几天前创建了表) delete table_dataset.table1 whe

浏览 2提问于2017-03-23得票数 0

回答已采纳

4回答

大查询更新或删除问题

google-bigquery

我不能通过php通过大型查询api做任何更新或删除操作。有任何技巧来完成这项任务。

浏览 0提问于2015-07-27得票数 0

1回答

BigQuery:对大型数据集运行查询

google-cloud-platform、google-bigquery

我有大约100 to的数据需要回填，方法是运行查询来转换字段，然后将转换写到另一个表中。此表通过摄入时间戳进行分区。我将这两个操作作为单个查询的一部分，如下所示。我计划通过摄入时间戳范围，以较小块的方式多次运行此查询。是否有更好的方法来处理这个过程，而不是在手动块中运行查询？例如，可能使用Dataflow或其他框架。

浏览 0提问于2018-07-24得票数 0

回答已采纳

3回答

如何在BigQuery* UI中插入覆盖分区表？*

google-bigquery、google-cloud-platform、bigdata

我们可以将数据插入到分区表的特定分区中，这里我们需要指定partition value.But。我的要求是使用UI在一个查询中覆盖表中的所有分区。我们可以执行这个操作吗？

浏览 38提问于2018-01-19得票数 1

3回答

如何保持Firebase数据库与BigQuery同步？

node.js、firebase、firebase-realtime-database、google-bigquery、google-cloud-functions

我们正在进行一个涉及大量数据的项目。现在我们最近读到了Google BigQuery的内容。但是我们如何将数据导出到这个平台呢？我们已经看到了将日志导入Google BigQuery的示例。但这不包含有关更新和删除数据的信息(仅插入数据)。所以我们的对象能够更新它们的数据。而且我们对BigQuery表的查询数量有限。如何在不超过BigQuery配额限制的情况下同步数据。我们目前<

浏览 3提问于2017-04-06得票数 3

回答已采纳

1回答

BigQuery执行失败，在云数据融合方面没有有意义的错误

google-bigquery、google-cloud-data-fusion

我正在尝试使用云数据融合( BigQuery )中的执行函数。该组件验证良好，SQL签出，但每次执行时都会得到这个没有意义的错误：02/11所讨论的SQL是dataset.table中的简单删除，其中ds = CURRENT_DATE()这是管道

浏览 15提问于2022-02-11得票数 0

回答已采纳

点击加载更多

为什么无法在BigQuery中更新表格集合Field=NULL WHERE 1=1~？