有没有一种方法可以使用BigQuery视图作为数据流的输入？

文章/答案/技术大牛

发布

2回答

google-bigquery、google-cloud-dataflow

我知道数据流可以使用BigQuery表(或BigQuery表的SQL式查询)进行输入，但是是否可以将保存的视图作为数据流的输入？

浏览 10提问于2017-07-12得票数 2

1回答

结合使用数据流和BigQueryIO.Write.Method.STORAGE_WRITE_API的示例

google-cloud-dataflow

当前的数据流文档和参考模板(参见下面的链接)使用BigQueryIO.Write.Method.STREAMING_INSERTS作为BigQuery的输入方法。DataflowTemplates/blob/HEAD/src/main/java/com/google/cloud/teleport/templates/PubSubToBigQue

浏览 24提问于2021-08-11得票数 0

1回答

如何在Google数据流模板中使用正则表达式？

google-cloud-platform、google-cloud-storage、google-cloud-dataflow、dataflow

使用数据流模板，即云存储文本到BigQuery (流)模板，过去可以将"inputFilePattern“(即:您想要处理的文本的云存储位置)描述为正则表达式。例如，您可以输入gs://my-bucket/my- files /file-to-upload*作为参数，然后所有以"file-to-upload“开头的文件都将被流式传输。不幸的

浏览 11提问于2020-09-08得票数 0

2回答

发布/订阅csv数据到数据流到BigQuery

google-cloud-platform、google-bigquery、google-cloud-dataflow、apache-beam、google-cloud-pubsub

我的渠道是IoTCore ->发布/订阅->数据流-> BigQuery。最初，我得到的数据是Json格式的，管道工作正常。现在我需要转到csv，问题是我使用的Google定义的数据流模板使用Json输入而不是csv。有没有一种简单的方法通过数据流将csv数据从发布/订阅传

浏览 27提问于2021-01-03得票数 0

回答已采纳

2回答

云存储新增文件时触发数据流作业

google-cloud-storage、google-cloud-dataflow、google-cloud-functions

我希望在向存储存储桶添加新文件时触发数据流作业，以便处理新数据并将新数据添加到BigQuery表中。我看到云通过存储桶中的更改来运行，但我还没有找到使用启动数据流作业的方法。有没有一种方法可以使用云函数来实现这一点，或者是否有其他方法来实现预期的结果(在将文件添加到存储存储桶时将新数据插入到BigQuery中)？

浏览 6提问于2016-04-02得票数 2

回答已采纳

1回答

在Apache Beam中使用无界PCollections从MongoDB changeStream读取数据

mongodb、architecture、google-cloud-dataflow、apache-beam、data-warehouse

我正在为我的公司设计一种新的方法来从多个MongoDB数据库中流式传输数据，执行一些任意的初始转换，并将它们汇聚到BigQuery中。有各种需求，但关键的是速度和在某些字段到达数据仓库之前省略或编辑这些字段的能力。我们使用数据流基本上做到了这一点： MongoDB -> Dataflow (Apache Beam, Python) -> BigQuery 我们基本上只需要等待collec

浏览 20提问于2020-01-02得票数 3

1回答

设计

google-cloud-platform、google-cloud-dataflow

我们需要您对以下场景的数据流设计提供指导。需求:我们需要构建一个数据流作业来读取数据流MS数据库并写入Bigquery。我们需要数据流作业作为输入“表名列表”(源表和目标表名称)来读取和写入数据。问题:在每天的日程安排中，数据流是否可以将表列表(即50个表名)作为输入，并将数据从源复制到目标，还是将其设计为50个独立的数据流作

浏览 4提问于2021-12-13得票数 -1

3回答

在数据流管道中写入BigQuery时捕获失败

python、google-bigquery、google-cloud-dataflow、google-cloud-pubsub

我有一个从PubSub主题读取事件数据的数据流管道。当收到消息时，我执行一个转换步骤，将事件数据与我想要的BigQuery模式相匹配。但是，如果创建的输入不符合模式，则会遇到问题。有没有一种方法可以尝试写到BigQuery，如果这样做失败了，用原始的输入做其他的事情？或者，是否有一种方法可以尝

浏览 4提问于2018-05-08得票数 4

1回答

从数据流作业创建云sql表

java、google-cloud-dataflow、apache-beam、google-cloud-sql

有一个将表数据从BigQuery复制到CloudSql的管道。云SQL表的创建发生在数据流之外。现在我们需要在数据流中创建表。我有表格要创建在GCS存储桶中作为.sql文件。下面是将表从BQ复制到sql的代码片段。insert_query) p.run(); 有没有一种

浏览 75提问于2021-09-20得票数 1

回答已采纳

1回答

PCollection to Array -如何在WriteToText PTransform中动态输入头？

python、google-cloud-dataflow、apache-beam

我正在使用运行在dataflow runner上的Apache beam 2.19编写一个数据流作业。我正在尝试将包含嵌套和重复字段的BigQuery输入转换为平面化的CSV。BQ输入是使用递归方法展平的。我需要将扁平化的格式写入CSV文件，这不是问题，除非我需要将字典键作为头文件传递。我可以将header转换为pvalue singelton，

浏览 8提问于2020-05-20得票数 0

1回答

BigQuery AEAD函数密钥集管理的最佳实践

google-cloud-platform、google-bigquery、tableau-api、dataflow

我的目标是构建一个基于BigQuery的安全解决方案。我使用由CMEK保护的BigQuery表。另外，我有一个数据流作业，它可以在表中写入数据。它用一个AEAD函数加密一些值。我用Tableau从BigQuery读取数据。并使用AEAD函数解密一些值。我需要一种安全可靠的方法，用于与AEAD一起使用的密钥集管理。加密期间，应该

浏览 0提问于2020-10-17得票数 0

回答已采纳

0回答

如何在数据流工作进程上强制安装google-cloud-bigquery==0.28.0

google-bigquery、google-cloud-dataflow

我很难让最新版本的bigquery在数据流工作者上工作。有没有人能建议一下，怎样才是更简单的方法呢？使用google-cloud-bigquery==0.28.0的setup.py将无法在工作进程启动时安装工作流。从这个链接可以看到：，google-cloud-bigquery0.25.0，这是目前数据流支持的最新版本，它非常笨重，效率也很低。如果你有什么建议，请

浏览 0提问于2018-07-14得票数 1

回答已采纳

1回答

气流DAG -如何首先检查BQ (必要时删除)，然后运行数据流作业？

python、google-cloud-platform、google-bigquery、airflow、google-cloud-composer

我查看了其他气流操作符，但在运行数据流作业之前，我希望在DAG中有两个任务：如果文件ID已经出现在bigquery表中(从数据流作业输出转换数据的表)，删除它，然后运行数据流作业，这样我就有了最新的信息。我知道一种选择就是添加一个时间戳，并且只使用最新<

浏览 0提问于2019-01-09得票数 3

回答已采纳

2回答

对于数据流，BigqueryIO.write()和bigquery.insertAll()方法哪个更好

google-cloud-platform、google-bigquery、google-cloud-dataflow、dataflow

我正在开发java代码，以便从GCS读取记录并插入到BQ表中，从成本和性能的角度来看，哪个BigqueryIO.write()或bigquery.insertAll()方法更好。

浏览 0提问于2019-03-05得票数 1

2回答

使用多字符分隔符将存储在谷歌云存储上的数据加载到BigQuery

google-bigquery、google-cloud-storage、google-cloud-platform、google-cloud-dataflow

我想将带有多个字符分隔符的数据加载到BigQuery。BQ load命令当前不支持多个字符分隔符。它只支持单个字符分隔符，如'|‘、'$’、'~‘等我知道有一种数据流方法，它将从这些文件中读取数据并写入BigQuery。但是我有大量的小文件(每个文件400MB)，它们必须写入一个单独的表分区(分区编号在700左右)。这种方法在处理数据流时速度很慢，因为我当前必须启动一个不同的<

浏览 22提问于2016-08-11得票数 3

回答已采纳

3回答

SSIS:如何读取WebSphere MQ、转换和写入平面文件？

ssis、ibm-mq

我已经编写了一个脚本任务来读取数据，并且可以将其输出到变量或文本文件。但是我想使用它作为数据流步骤的输入，并转换数据。最终目标是平面文件。 有没有办法将变量作为源读取到数据流步骤中？我可以将MQ数据写入文本文件，然后读取数据流中的文本文件，但这似乎有很大的开销。或者我可以跳过数据流，在一个脚本中编写所有的转换(但是为什么要在第一

浏览 0提问于2012-02-27得票数 1

回答已采纳

1回答

使用google数据流读取保存在google存储中的vis普通文本文件的压缩文件时，性能相对较差。

google-cloud-storage、google-cloud-dataflow

我使用从云存储中读取一个11.57GB的文件，并将它们写入谷歌BigQuery。花费了大约12分钟和30名工人。然后，我压缩了相同的文件(大小现在变为1.06GB)，然后再使用google从谷歌存储中读取它们，并将它们写入BigQuery。现在用了大约31分钟和同样的30名工人。除了第一个数据流作业中的输入文件被解压缩外，两个数据流作业都有相同的管道选项，但是输入

浏览 3提问于2016-08-06得票数 0

回答已采纳

1回答

我收到来自我的数据流作业的错误消息“查询超出了第1层的资源限制。需要第3层或更高层”

google-bigquery、google-cloud-dataflow

我从BigQuery查询数据的数据流作业失败，出现错误： Query exceeded resource limits for tier 1. Tier 3 or higher required.同样的Dataflow作业与我的另一个项目一起工作，我无法确定如何在Dataflow API中设置层。

浏览 0提问于2017-03-25得票数 0

1回答

如何为google数据流作业设置分阶段、预驱动程序？

java、google-cloud-dataflow、apache-beam、google-cloud-bigtable、bigtable

假设我们有一个数据流工作：我想知道在ApacheBeam&DataFlow中实现这一目的的“惯用”方法是什么。

浏览 6提问于2022-07-08得票数 -1

回答已采纳

2回答

将BigQuery联邦表作为数据源在数据流中读取会引发一个错误

google-bigquery、google-cloud-dataflow

我在BigQuery中有一个联邦源代码，它指向GCS中的一些CSV文件。当我尝试将联邦BigQuery表作为Dataflow管道的源读取时，它会引发以下错误： 1226 [main] ERROR com.google.cloud.dataflow.sdk.util.BigQueryTableRowIterator- Error reading from BigQuery table Federated_test_dataflow of dataset CPT_7414_PLAYG

浏览 5提问于2016-03-24得票数 4

回答已采纳

点击加载更多