在数据流作业将数据流式传输到BigQuery期间，无法将json序列化为表行

文章/答案/技术大牛

发布

1回答

json、google-bigquery、javascript-objects、google-cloud-dataflow、user-defined-functions

我正在使用数据流作业模板将数据从发布/订阅订阅流式传输到BigQuery。从每个JSON文件中，我需要转换这些值并一次将多个表行输出到一个BQ表中。到达Pub/Sub的JSON消息的简化版本如下： {"a":{"k1":v1, "k2":v2}, "b":{&quo

浏览 19提问于2021-07-22得票数 0

回答已采纳

1回答

使用Java将JSON流式传输到BigQuery中

java、json、google-bigquery

我正在尝试使用类似于教程的Java驱动程序将数据流式传输到BigQuery，该教程将数据从地图插入到BigQuery表中。支持在插入时将行指定为JSON，所以我想知道是否可以使用JSON驱动程序将JSON流式传输到bigquery，而不必使用如下示例所示的映射。; rowCo

浏览 6提问于2017-08-01得票数 0

回答已采纳

2回答

对于数据流，BigqueryIO.write()和bigquery.insertAll()方法哪个更好

google-cloud-platform、google-bigquery、google-cloud-dataflow、dataflow

我正在开发java代码，以便从GCS读取记录并插入到BQ表中，从成本和性能的角度来看，哪个BigqueryIO.write()或bigquery.insertAll()方法更好。

浏览 0提问于2019-03-05得票数 1

1回答

通过云函数插入BigQuery不起作用

google-cloud-platform、google-bigquery、google-cloud-functions、google-publisher-tag

我将以下json插入到预先创建的BigQuery表中。4, "Exercise_Calories_Burned": 876,} const PubSubMessage = event.data; &#x

浏览 3提问于2018-11-14得票数 3

1回答

使用GCP数据流PubSub to BigQuery模板时的表列名称问题

google-cloud-platform、google-bigquery、google-cloud-messaging、google-cloud-dataflow

背景：发布/订阅消息中的一些字段名包含破折号(-)，我无法控制这些破折号，并且数据流模板似乎期望在目标BigQuery表中使用完全相同的字段名。BQ的一个限制是不允

浏览 0提问于2019-08-01得票数 0

1回答

基于Google Cloud平台的物联网实时流处理

google-cloud-platform、iot、google-cloud-pubsub、gcp、google-cloud-iot

我关注的是通过GCD发布/订阅的物联网实时流处理，云数据流和通过BigQuery.I执行分析。我正在寻求如何实现这一点的帮助。

浏览 2提问于2017-06-15得票数 1

0回答

如何在BigQuery插入错误时崩溃/停止DataFlow发布/订阅摄取

google-bigquery、google-cloud-dataflow、google-cloud-pubsub

来自发布/订阅的事件是使用TableRowJsonCoder通过PubsubIO.Read.Bound<TableRow>读取的JSON，并使用BigQueryIO.Write.Bound直接流式传输到如果从PubSub接收的事件/行中的字段不是目标BigQuery表中的列，则DataFlow作业会在运行时记录IOExceptions，声明它无法插入行，但似乎会确认这些消息并继续运行。相反，我想要做的是停止接收来自发布&

浏览 5提问于2017-06-10得票数 5

回答已采纳

2回答

调度删除BQ表

google-bigquery、google-cloud-dataprep

我将数据流式传输到BQ中，每天我在Dataprep中运行一个计划的作业，该作业需要24小时的数据，并修改一些数据，并在BQ数据集中创建一个包含24小时数据的新表。但是，原始表保持不变，并继续收集数据。我想要做的是在dataprep制作副本之后删除表中的所有行，以便收集新的24小时数据流 我如何

浏览 2提问于2018-11-28得票数 0

1回答

使用BigQuery提取Google Analytics数据并在SQL Server中加载

c#、sql-server、json、ssis、google-bigquery

我必须使用BigQuery从Google Analytics中提取数据，并将JSON加载到SQL Server。我知道我们可以在C#中调用GS，在JSON中流式传输数据，并将其上传到Google Storage中，然后使用GSUTIL.exe将JSON文件从GS复制到BigQuery服务器进行处理。读取JSON并将其加载到SQL server中。有没有一种方法可以直

浏览 14提问于2017-01-24得票数 0

1回答

如何在标准SQL BigQuery中解析JSON？

sql、json、google-bigquery

在将一些json数据流式传输到BQ中之后，我们有一个如下所示的记录： "{\"Type\": \"Some_type\", \"Identification\": {\"Name\": \"First我尝试了https://cloud.google.com/bigquery/docs/reference/standard-sql&

浏览 8提问于2019-02-25得票数 4

回答已采纳

1回答

在GKE上插入BigQuery流失败

go、google-cloud-platform、google-bigquery、google-kubernetes-engine

我们有一个拥有3x n2-highcpu-8节点的GKE集群，用GO编写的web应用程序可以扩展到3个实例(每个节点1个)，将所有请求都使用流传输到BigQuery，我注意到了非常奇怪的行为：在高应用程序使用率期间，应用程序启动的3个实例中有2个在流式写入时100%失败，错误是仅写入“超过上下文截止日期”，而当我删除这2个pod时，它们又开始接收流量，旧的1开始失败，出现“上下文截止日期超过”，而新的2中有1个成功地继续写入数据我查看了Big

浏览 19提问于2020-12-04得票数 0

回答已采纳

1回答

如果在作业运行期间删除了GCloud数据流，则重新创建BigQuery表。

google-cloud-platform、google-bigquery、google-cloud-dataflow、apache-beam

我已经设置了一个GCloud数据流管道，它使用来自Pub/Sub订阅的消息，将它们转换为表行，并将这些行写入相应的BigQuery表。表目的地是根据Pub/Sub消息的内容确定的，偶尔会导致表还不存在，必须先创建表的情况。为此，我使用create CREATE_IF_NEEDED，它工作得很好。但是，我注意到，如果在数据流作业仍在运行时手动删除BigQuery中

浏览 1提问于2020-03-21得票数 0

回答已采纳

1回答

从数据流插入到BigQuery之前验证行

google-bigquery、google-cloud-dataflow

根据，在从数据流将数据加载到BigQuery时，目前无法设置maxBadRecords配置。建议在将数据流作业中的行插入BigQuery之前验证它们。如果我有TableSchema和TableRow，如何确保行可以安全地插入到表中？必须有一种比迭代模式中的字段、查看它们的类型和查看行中值的类更简单的方法来实现这一点，对吗？这似乎很容易出错，而且

浏览 3提问于2016-02-03得票数 10

回答已采纳

1回答

如何最好地缓存bigquery表以快速查找单个行？

google-cloud-platform、google-cloud-firestore、google-bigquery、google-cloud-dataflow

我在bigquery中有一个原始数据表，它有数亿行。我每24小时运行一次预定的查询，以生成一些聚合，从而生成一个标有3300万行(6gb)的表格，但可能会缓慢增长到大约是当前大小的两倍。我可以设想几个策略： 1)将agg表的转储安排到GCS。启动数据流作业，将gcs转储的内容流到pubsub。创建一个无服务器函数来侦听pubsub，并将行插入到防火墙中。2)在计算

浏览 2提问于2019-09-30得票数 0

回答已采纳

1回答

BigQuery上的增量作业缺少记录

google-bigquery、google-cloud-dataflow、apache-beam

我正面临一个奇怪的问题，一个小的增量任务，它是我在一个流BigQuery表上用Apache光束实现的。我正在将数据流式传输到BigQuery表中，并且每小时我都会运行一个作业，将该流式传输表中的任何新记录复制到一个协调表中。增量是建立在我在流表中介绍的CreateDatetime列之上的。一旦记录被加载到流表中

浏览 0提问于2017-10-09得票数 0

2回答

从数据流在BigQuery中插入数据

google-bigquery、google-cloud-dataflow、dataflow

以前，我有PCollection formattedResults；，我使用以下代码在大型查询中插入行：PCollection<TableRow.withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_APPEND)); 所有的行都是直接插入到BigQuery但是现在我已经开始动态地识别表名和它的行了，所以我创建了PCollection，如下所示：(String将是表名

浏览 3提问于2016-08-05得票数 0

2回答

由于templateSuffix，InsertAll失败

google-bigquery

我正在尝试使用templateSuffix将数据流式传输到BigQuery中的表。'rows': [{ 'ignoreUnknownValues': True, 'arguments': []

浏览 0提问于2016-10-29得票数 1

2回答

BigQuery:从CSV加载，跳过列

python、csv、google-bigquery

假设我有一个包含现有数据的表，其模式如下：{ 'name' : 'Field2', 'type' : 'STRING' }Field1,Field2...我们通过创建一个新作业来加载数据，直接从(GCS)加载C

浏览 4提问于2014-09-08得票数 5

回答已采纳

1回答

从数据流插入BigQuery流-无结果

google-bigquery、google-cloud-dataflow、google-cloud-pubsublite

我有一个数据流管道，它从PubSub Lite读取消息，并将数据流式传输到BigQuery表中。该表按天进行分区。使用以下命令查询表时：BigQuerywithTimePartitioning(new TimePartitioning().setType("

浏览 4提问于2021-10-14得票数 2

3回答

在BigQuery中将数据流到旋转日志表中

google-bigquery

我想用BigQuery将一些时间序列数据输入insertAll，但只保留最后3个月(比方说)，以避免无限制的存储成本。通常的答案是，但是AFAICT需要预先创建每个这样的表。我打算直接从一个只具有bigquery.insertdata作用域的令牌授权的非安全客户端中流数据，这样他们就无法自己创建每日表。我能想到的唯一解决方案是运行一个安全的每日cron作业来创建表--这并不理想，尤其是如果它不正确地触发数据<

浏览 10提问于2015-11-08得票数 2

回答已采纳

点击加载更多