使用使用流式插入插入的控制台从BigQuery中删除数据

文章/答案/技术大牛

发布

1回答

google-cloud-platform、google-bigquery

我已经使用流插入(insertAll)将一些数据插入到我的表中，以测试代码的工作方式。现在，我希望从表中删除该数据。我使用了以下查询： DELETE FROM MY_DATASET.my_Table WHERE someColumn like 'XYZ%' 并得到以下错误： UPDATE or DELETE statement

浏览 24提问于2020-10-17得票数 1

回答已采纳

1回答

使用AVRO格式的BiqQuery流插入

python、google-bigquery、google-cloud-platform、avro

有没有办法使用流式插入将AVRO格式的数据插入到BigQuery中？如果是，我们使用的是，但似乎不支持。仅支持json类型。我是不是遗漏了什么？有没有一种方法可以<e

浏览 14提问于2017-01-31得票数 2

回答已采纳

2回答

对于数据流，BigqueryIO.write()和bigquery.insertAll()方法哪个更好

google-cloud-platform、google-bigquery、google-cloud-dataflow、dataflow

我正在开发java代码，以便从GCS读取记录并插入到BQ表中，从成本和性能的角度来看，哪个BigqueryIO.write()或bigquery.insertAll()方法更好。

浏览 0提问于2019-03-05得票数 1

1回答

BigQuery python客户端使用流API删除一些行

google-cloud-platform、google-bigquery、google-cloud-python

我使用流式应用编程接口(BigQuery Python客户端的insert_row函数)将大约一百万个数据项插入到BigQuery中，但是有一些数据丢失，大约10,000个数据项在插入时丢失。有没有可能BigQuery会丢弃一些数据？因为没有任何插入错误(或任何错误)。

浏览 63提问于2018-12-03得票数 0

1回答

如何截断临时表？

google-bigquery

为了保持列的唯一性，我的几个客户将数据流式传输到BQ中的临时表(如果不存在于主表中，则重试2次，间隔10分钟)，并使用另一个cron作业每隔几分钟将临时表合并到一个列分区表中。如果临时表被合并到主表中，我需要截断它，但似乎我的客户端一直都在流式传输数据。这里有什么推荐吗？

浏览 2提问于2018-07-22得票数 1

1回答

使用Java将JSON流式传输到BigQuery中

java、json、google-bigquery

我正在尝试使用类似于教程的Java驱动程序将数据流式传输到BigQuery，该教程将数据从地图插入到BigQuery表中。支持在插入时将行指定为JSON，所以我想知道是否可以使用JSON驱动程序将JSON流式传输到bigquery，而不必使用如下示例所示的映射。; rowContent.put("re

浏览 6提问于2017-08-01得票数 0

回答已采纳

2回答

从HTTP请求API拉取数据到Google Cloud

api、google-app-engine、google-bigquery、cloud、google-cloud-storage

我有一个应用程序，从API发送数据给我。数据是半结构化的(json数据) 我想把这个数据发送到Google Big Query，以便储存所有的信息。但是，我不知道如何才能正确地做到这一点。到目前为止，我已经在自己的服务器上使用Node通过POST请求获取数据。你能帮帮我吗？特纳克。

浏览 17提问于2019-10-15得票数 0

1回答

用于重复数据删除的Apache -> BigQuery - insertId不起作用

google-bigquery、apache-beam

我将数据从卡夫卡流式传输到BigQuery，使用的是带有谷歌数据流运行器的阿帕奇光束。我想使用insertId进行重复数据删除，我在谷歌文档中找到了这一点。但是，即使这些插入在几秒钟内发生，我仍然可以看到许多具有相同insertId的行。现在我在想，也许我没有正确使用API来利用BQ提供的流式插入</e

浏览 1提问于2017-09-25得票数 1

1回答

从Google云存储到Big Query的流式数据流

google-cloud-platform、google-bigquery、google-cloud-storage、google-cloud-dataflow

我正在尝试使用DataFlow (Java)将数据从云存储插入到Big Query。我可以批量上传数据；但是，我想设置流式上传。因此，当新对象添加到我的存储桶中时，它们将被推送到BigQuery。我已经将PipelineOptions设置为流式传输，它在GCP Console UI中显示数据流管道是流式传输类型。存储桶中最初的一组文件/

浏览 47提问于2018-06-03得票数 3

回答已采纳

1回答

GCP -使用Google Cloud Function和Python将数据从REST API插入/加载到BigQuery

python、google-cloud-platform、google-bigquery、google-cloud-functions

是否可以使用云函数将带有json输出的rest api中的数据直接插入/流式传输到gcp中的bigquery？做了一些研究，但它总是要求放在GCS存储桶中，然后创建云函数将数据加载到bigquery。提前谢谢。

浏览 19提问于2020-06-25得票数 1

1回答

我正在尝试通过Python客户端将不同计算机(n=20)上的超过2亿条记录导入到我的BigQuery表中。每台计算机每10秒运行一次作业(多行) from google.cloud import bigqueryos.environ["GOOGLE_APPLICATION_CREDENTIALSfor err in results: print(err) 但我得到以下错误： google.api_core.exceptions.Forbidden: 403超

浏览 50提问于2021-02-28得票数 1

回答已采纳

1回答

使用Google Cloud Functions进行流式插入/更新

google-cloud-platform、google-cloud-functions

这是关于使用google云函数的流数据插入/更新。我使用Salesforce作为源数据库，并希望对谷歌BigQuery表进行流式插入/更新。我的插入部分工作得很好，但我如何能够进行更新，因为流数据首先被插入到流缓冲区中，这将不允许在30分钟左右的时间内执行DML操作。这方面的任何帮助都将不胜感激。

浏览 21提问于2019-06-04得票数 1

回答已采纳

1回答

使用本机Insert查询将数据插入到BigQuery中

java、google-cloud-platform、google-bigquery

我使用BigQuery的InsertAll方法将行插入到InsertAll中。一切都很顺利。但是，当我们试图从JAVA代码中更新同一行时，会出现以下错误，我使用INSERT查询插入一行，

浏览 2提问于2020-09-30得票数 0

回答已采纳

3回答

删除大查询表中的所有行

google-bigquery

我有一个用于单元测试的表，我在其中运行一些代码，查询表，检查数据是否已成功添加，然后删除表的全部内容。我该如何删除表中的每一行？我宁愿不必重新创建这个表。

浏览 15提问于2019-09-08得票数 1

2回答

如何使用流insertAll在BigQuery中插入38000条记录？

google-cloud-platform、google-bigquery、streaming、spring-cloud-gcp-bigquery

我正在尝试使用流式insertAll方法在BigQuery中插入38000条记录。但首先我得到的错误是：com.google.cloud.bigquery.BigQueryException: Read timed outbigquery = bigqueryOptions.getDefaultInstance().getService();Insert op

浏览 5提问于2021-02-18得票数 2

1回答

数据流因BigQuery而失败

google-cloud-platform、google-bigquery

数据流因BigQuery而失败在日志中，"1行插入失败“ 就这样。

浏览 10提问于2018-07-27得票数 0

1回答

BigQuery INSERT DML语句限制

google-bigquery

我正在查看这里的BigQuery数据，我发现INSERT和UPDATE的限制是1000次操作/day / 。这个限制是只在使用BigQuery的WebUI时有效，还是在使用流式API每秒插入数千个查询时也是一个限制？或者文档已经过时了？

浏览 2提问于2017-05-25得票数 0

1回答

BigTable是否适合非常频繁地插入单行？

google-cloud-bigtable、bigtable

我们有一个流解决方案，它从BigQuery主题获取消息，并使用DataFlow将每条消息流式传输到pubsub表中。这是BigQuery的一个非常合适的用例。我们还希望获取这些消息的一个子集，并使它们在BigTable中可用。我的想法是，我们可以使用云函数从pubsub主题中读取每条所需的消息，然后调用BigQuery API将一行插入<

浏览 3提问于2021-06-23得票数 0

1回答

将查询结果保存到BigQuery中的表的成本？

google-bigquery

我很好奇有一个python (QueryJobConfig)可以设置目标表来保存查询结果，所以为了节省这种开销，在GCP中需要花费多少？为了明确起见，保存查询结果可能会被视为插入，因此，如果我经常使用此方法更新表，那么执行流插入将花费很大的成本。

浏览 3提问于2020-04-20得票数 0

回答已采纳

2回答

通过加载作业(非流式处理)插入到BigQuery

google-bigquery、google-cloud-dataflow

我希望使用数据流将数据加载到使用的BigQuery表中，而不是流式处理(对于我们的用例，流式处理的成本太高)。我看到Dataflow SDK内置了对通过BQ流插入数据的支持，但我在Dataflow SDK中找不到任何开箱即用的支持加载作业的功能。以下是一些问题： 1) Dataflow SDK

浏览 0提问于2015-06-17得票数 3

点击加载更多