是否可以将数据流中BigQuery加载配置中的setSchemaUpdateOptions(ALLOW_FIELD_ADDITION)与内置BigQueryIO.Write一起使用？

文章/答案/技术大牛

发布

2回答

java、google-bigquery、google-cloud-dataflow

我想使用允许我在执行加载作业时更新BigQuery模式的。我使用的是数据流和软件开发工具包中的内置BigQueryIO.write。我看到使用来自BigQuery应用编程接口的JobConfigurationLoad.setSchemaUpdateOptions(ALLOW_FIELD_ADDITION)是可

浏览 4提问于2017-07-27得票数 0

回答已采纳

1回答

PHP-如何在PHP SchemaUpdateOption库中将ALLOW_FIELD_ADDITION配置为ALLOW_FIELD_ADDITION

php、google-bigquery

我正在使用BigQuery PHP库，但是我不知道如何将insertRows()函数配置为ALLOW_FIELD_ADDITION，以便允许动态地向模式中添加列。$bigQuery = new BigQueryCli

浏览 1提问于2019-05-02得票数 0

回答已采纳

1回答

PCollection<Entity>到PCollection<TableRows>

google-app-engine、google-bigquery、google-cloud-dataflow

我试图使用Dataflow查询数据存储中的所有类型，并将它们写入BigQuery中的日期分段分区中。DatastoreIO.read()的阅读部分很简单，给了我一个PCollection<Entity>。BigQuery需要一个PCollection<TableRow>，我能隐式地从一个转换到另一个吗？我的数据涉及一些不可预测的字段(例如，嵌入属性中

浏览 6提问于2017-06-23得票数 0

回答已采纳

2回答

对于数据流，BigqueryIO.write()和bigquery.insertAll()方法哪个更好

google-cloud-platform、google-bigquery、google-cloud-dataflow、dataflow

我正在开发java代码，以便从GCS读取记录并插入到BQ表中，从成本和性能的角度来看，哪个BigqueryIO.write()或bigquery.insertAll()方法更好。

浏览 0提问于2019-03-05得票数 1

3回答

谷歌数据流每项作业是否有BT写原子？

google-cloud-dataflow

也许我是个糟糕的探索者，但我在文档中找不到答案，所以我只想在这里试试运气。我知道写GCS似乎不是原子的，在作业运行的过程中会产生部分输出分区。但是，我已经尝试过通过数据流将数据转储到BQ中<

浏览 6提问于2016-08-05得票数 1

回答已采纳

1回答

云数据流、PubSub和Bigquery问题

java、google-bigquery、google-cloud-dataflow、publish-subscribe、google-cloud-pubsub

我想使用Cloud Dataflow、PubSub和Bigquery将tableRow写入发布订阅消息，然后将它们写入Bigquery。我希望表名、项目id和数据集id是动态的。

浏览 0提问于2018-07-15得票数 0

2回答

通过加载作业(非流式处理)插入到BigQuery

google-bigquery、google-cloud-dataflow

我希望使用数据流将数据加载到使用的BigQuery表中，而不是流式处理(对于我们的用例，流式处理的成本太高)。我看到Dataflow SDK内置了对通过BQ流插入数据的支持，但我在Dataflow SDK中找不到任何开箱即用的支持加载作业的功能。以下是一些问题： 1) Dataflow SDK是否</e

浏览 0提问于2015-06-17得票数 3

1回答

在beam.io.writetobigquery中使用模式更新选项

google-bigquery、apache-beam、google-dataflow

我正在使用apache apache数据流将一堆日志文件加载到BigQuery中。通过向文件添加新列，文件格式可以在一段时间内更改。我看到架构更新选项ALLOW_FILED_ADDITION。下面是我的WriteToBQ步骤： | 'write to bigquery' >> beam.io.WriteToBigQuery('project:datasetId.tableId', ,

浏览 34提问于2020-10-14得票数 0

2回答

BigQueryIO -不能将DynamicDestination与CREATE_IF_NEEDED一起用于无界PCollection和FILE_LOADS

google-cloud-platform、google-bigquery、google-cloud-dataflow、apache-beam

我的工作流程: KAFKA ->数据流-> BigQuery.withCreateDisposition(CreateDisposition.CREATE_IF_NE

浏览 1提问于2018-03-12得票数 6

3回答

BigQuery联邦数据源的API配置

ruby-on-rails、ruby、google-cloud-platform、google-bigquery、google-cloud-storage

我有以下配置，可以很好地将一堆文件加载到BigQuery中： 'configuration'=> { 'sourceUris'=> 'gs_*', 'fields'=> fields_array

浏览 0提问于2018-03-22得票数 0

回答已采纳

2回答

使用多字符分隔符将存储在谷歌云存储上的数据加载到BigQuery

google-bigquery、google-cloud-storage、google-cloud-platform、google-cloud-dataflow

我想将带有多个字符分隔符的数据加载到BigQuery。BQ load命令当前不支持多个字符分隔符。它只支持单个字符分隔符，如'|‘、'$’、'~‘等我知道有一种数据流方法，它将从这些文件中读取数据并写入BigQuery。但是我有大量的小文件(每个文件400MB)，它们必须写入一个单独的表分区(分区编号在700左右)。这种方法在处理数据流时速度很慢，因为我当前必须启动一个不同的数

浏览 22提问于2016-08-11得票数 3

回答已采纳

1回答

如何使用云编写器运行数据流作业

python、airflow、google-cloud-dataflow、apache-beam、google-cloud-composer

我知道Apache，我可以使用它创建管道，我也知道Composer中的哪个操作符来运行数据流作业，我只想知道如何将普通的apache代码转换成数据流作业，这样我就可以使用Composer运行它，我需要什么样的设置，我需要什么配置，我没有发现Google非常有用，请帮帮我。我的要求是从云存储中读取csv文件，并使用数据流<

浏览 2提问于2021-02-16得票数 2

1回答

bigquery在巨大数据负载期间的束流处理失败

google-bigquery、google-cloud-dataflow

我最近开始使用Apache。我肯定我漏掉了什么东西。我需要从一个非常庞大的数据库加载到bigquery。这些桌子很大。我编写了示例波束作业，以从简单的表中加载最小的行。如何使用JDBCIO从表中加载n行数？我是否可以像在传统的数据迁移作业中一样，批量加载这些数据呢？我可以从数据库中批量读取数据并将其成批写入bigq

浏览 1提问于2017-06-29得票数 0

1回答

如何在第三方BigQuery中进行请求，并定期在谷歌API上加载结果？我应该使用哪些google服务？

google-cloud-platform、google-bigquery、data-integration

我需要从第三方应用程序接口获取数据，并在谷歌BigQuery中摄取它。也许，我需要通过google服务实现这个过程的自动化，以便定期完成这个过程。我正在尝试使用Cloud Functions，但它需要一个触发器。我也读过关于App Engine的文章，但我相信不适合只有一个函数来发出拉取请求。另一个疑问是:我是否需要将数据加载到云存储中，或者是否可以直接将其加载到BigQuery？

浏览 17提问于2019-08-24得票数 1

回答已采纳

1回答

将Google Cloud Dataprep连接到自动化管道中的AutoML表

google-cloud-platform、google-cloud-dataprep

如何将使用GCP Dataprep完成的数据预处理连接到AutoML工作流？ Dataprep允许您使用GUI进行一些数据预处理，并将数据流配方与预处理任务一起导出。此外，您还可以将数据写回到导出的文件中，返回到GCS或BigQuery。但是，如何将所有部分连接起来，使其成为自动部署的AI平台模型的一部分？生成的多通道管道可能如

浏览 20提问于2019-07-15得票数 0

1回答

Google /Sub到Dataflow，避免重复使用记录ID

google-bigquery、google-cloud-platform、google-cloud-dataflow、google-cloud-pubsub、spotify-scio

我正在尝试构建一个流数据流作业，它从Pub/Sub读取事件并将它们写入BigQuery。根据文档，如果使用记录ID，Dataflow可以检测重复的消息传递(请参阅：)我错过了什么吗？编辑：Message .data(new String(Base64.encodeBase64(json.ge

浏览 6提问于2017-02-01得票数 4

1回答

bigquery通配符表查询的“兼容”模式

google-bigquery

为此，使用legacy SQL需要多个由UNION连接的SELECT语句，并为以前的表中不存在的新字段提供虚拟空占位符。我有100个组合查询要构建和执行。我可以编写这个脚本，但我希望使用Standard SQL通配符表代替。然而，我在上读到：为了执行使用通配符表的标准SQL查询，BigQuery会自动推断该表的架构。BigQuery使用最近创建的</e

浏览 7提问于2018-01-04得票数 0

1回答

Apache梁/数据流-流水线中各步骤之间的延迟

java、google-cloud-dataflow、apache-beam

我使用Aapche Beam (带有数据流运行程序)下载二进制文件(天气预报，大约300个文件)，然后解码它们，然后将结果存储为CSV，然后将CSV加载到BigQuery中。----------- ------------------------------- ----

浏览 0提问于2018-02-13得票数 2

回答已采纳

3回答

BigQuery是否加密磁盘上的数据？

encryption、google-bigquery

我试图找到这个问题的答案，但只找到了一些轶事。谷歌是否对存储在BigQuery上的数据进行加密？如果是的话，使用了哪些加密机制？

浏览 3提问于2014-10-10得票数 2

回答已采纳

1回答

加快从云SQL导入BigQuery查询作业的速度

google-cloud-platform、google-bigquery、google-cloud-sql

作为使用联邦查询将Cloud SQL表迁移到BigQuery的一部分，我正在执行一个查询，以生成一个大小约为1TB(几十亿行)的新BigQuery表。我使用SQL客户端提交查询作业，在查询中我从Cloud BigQuery数据库表中选择all并使用EXTERNAL_QUERY。我看到PostgreSQL出口是20Mb/秒，与需要半天的工作一致。如果我考虑一些更分布式<em

浏览 14提问于2021-01-06得票数 0

点击加载更多