如何通过谷歌提供的PubSub to BigQuery数据流模板使用现有的PubSub订阅

文章/答案/技术大牛

发布

1回答

有办法定制谷歌提供的云数据流模板吗？

google-cloud-platform、google-bigquery、google-cloud-dataflow、google-cloud-pubsub

我有一个要求，我需要创建一个数据流作业，该作业将通过过滤将作为json数据一部分的属性的消息，将数据从Google PubSub主题传输到BigQuery表。使用谷歌提供的模板，我可以使用谷歌提供的"PubSub to BigQuery“模板，但这不允许对数据进行过

浏览 0提问于2018-11-27得票数 2

2回答

Google /Sub到BigQuery模板主题订阅

google-cloud-dataflow、google-cloud-pubsub

当创建新的Dataflow Pub/Sub到BigQuery模板时，可以指定PubSub topic。似乎无法提供现有的PubSub subscription，相反，每当数据流模板运行时都会创建一个新的订阅。就我所理解的PubSub模型而言，确保我们继续从主题的同一位置读取数据的唯一方法是重用相同的<

浏览 0提问于2018-09-18得票数 2

回答已采纳

1回答

google-cloud-dataflow、google-cloud-pubsub

我正在尝试使用谷歌提供的模板PubSub to BigQuery设置一个数据流作业。我看到一个用于指定云发布/订阅输入主题的选项，但我没有看到任何用于在GCP控制台UI中指定发布/订阅输入订阅的选项。如果我提供了主题，job会自动创建一个订阅来读取所提供的主题中的

浏览 3提问于2018-01-12得票数 3

回答已采纳

1回答

如何在数据流管道中实现PubSubIO中的流量控制设置

google-cloud-platform、google-bigquery、google-cloud-dataflow、apache-beam、google-cloud-pubsub

在我们的应用程序中，我们在数据流管道中使用PubsubIO从PubSub读取数据。下面是代码。table", ParDo.of(new ReadRawdataFromBiqueryTable())); 但是，当我们在此管道中附加BigQuery读取时，由于BigQuery读取速度较慢，因为我们在ParDo中执行此操作，似乎在PubSub订阅服务器中实现了一些默认的流控制设置，因此

浏览 12提问于2020-03-25得票数 1

1回答

从数据流插入BigQuery流-无结果

google-bigquery、google-cloud-dataflow、google-cloud-pubsublite

我有一个数据流管道，它从PubSub Lite读取消息，并将数据流式传输到BigQuery表中。该表按天进行分区。使用以下命令查询表时：BigQuery我的管道已经运行了整整一周，在过去的两天里我得到了同样的结果。然而，对于2021-10-11和之

浏览 4提问于2021-10-14得票数 2

1回答

如何获取单个PubsubMessage的MessageID以将其保存在BigQuery中以用于PubsubToBigQuery事件数据流作业？

google-cloud-platform、google-bigquery、google-cloud-dataflow、google-cloud-pubsub

我使用谷歌模板为同一个创建了一个PubsubToBigQuery数据流，用于存储我的事件日志。如何实现这一目标？

浏览 0提问于2019-06-12得票数 0

1回答

处理流经发布订阅到Bigquery的记录的unique_id和时间戳特性

python-3.6、google-cloud-pubsub

我正在尝试构建一个流/批处理管道，它从发布/订阅中读取事件，并使用python3.6将它们写入BigQuery 根据文档，云发布/订阅会为每条消息分配唯一的message_id和timestamp，用于检测订阅者收到的重复消息(https://cloud.google.com/pubsub/docs/faq) 要求如下: 1)消息可以以任意顺序传入(异步消息) 2)唯一Id

浏览 13提问于2019-10-16得票数 0

1回答

订阅-由于缺少权限而无法创建

google-cloud-platform、google-bigquery、google-cloud-pubsub

在创建pubsub订阅时，我会得到一个错误(红色，下图)。错误出现在订阅创建视图中：第一个问题--为什么这个错误首先会出现？我解决这个问题的尝试之一是尝试首先创建标准订阅，然后通过使用这样的命令：gcloud pubsub subscriptions add-iam-policy-binding EventIngestSubscription/roles/bigquery.dataEd

浏览 17提问于2022-09-15得票数 0

回答已采纳

1回答

从google pubsub到spark streaming的数据摄取速度很慢

apache-spark、google-bigquery、spark-streaming、google-cloud-pubsub、google-cloud-dataproc

我正在使用google cloud Dataproc Spark集群来运行Spark streaming作业，该作业从多个PubSub订阅中读取数据并写入BigQuery。我已经在数据流中实现了每秒100万个元素的速度，但我想用Dataproc做同样的事情。我尝试了Dataproc的自动缩放选项，也尝试了在数据流上工作的相同的波束管道代码。如果我增加订阅的数量，那

浏览 5提问于2019-07-22得票数 3

2回答

公开Google云Pub/Sub主题？

google-cloud-platform、google-cloud-pubsub

我想玩和处理中的消息。在Pub/Sub中是否有任何公共数据提要可供我开始使用？在Dataflow 示例中，输入是从，gs://dataflow-samples/shakespeare/kinglear.txt中的文件中读取的。

浏览 0提问于2016-08-09得票数 5

回答已采纳

2回答

如何使用Google提供的数据流模板更改默认网络

google-cloud-dataflow

我正在尝试使用谷歌提供的模板PubSub to BigQuery设置一个数据流作业。，我在启动时得到了这个错误：我认为谷歌提供的模板是硬编码的</em

浏览 12提问于2018-02-01得票数 1

回答已采纳

1回答

数据流模板Cloud /Sub主题与BigQuery订阅

google-cloud-platform、google-cloud-dataflow、google-cloud-pubsub

我正在建立一个概念的简单证明，以学习Google中的一些概念，特别是PubSub和Dataflow。我有一个PubSub主题greetingconst escapeHtml = require('escape-html');似乎有两个<e

浏览 0提问于2019-05-16得票数 7

1回答

基于Google Cloud平台的物联网实时流处理

google-cloud-platform、iot、google-cloud-pubsub、gcp、google-cloud-iot

我关注的是通过GCD发布/订阅的物联网实时流处理，云数据流和通过BigQuery.I执行分析。我正在寻求如何实现这一点的帮助。

浏览 2提问于2017-06-15得票数 1

1回答

谷歌云数据流:在PubSub流模式下，TextIO.Read使用大量的vCPU时间

streaming、google-cloud-platform、google-cloud-dataflow、google-cloud-pubsub

我正在使用Google Cloud Platform将数据从Azure服务器传输到BigQuery表(从功能上讲，工作得很好很顺利)。管道看起来像这样：PCollection<StringmetaLine = p.apply(TextIO.Read.named("FetchMetadata") .f

浏览 8提问于2017-03-14得票数 0

1回答

云数据流:使用谷歌提供的带有多个json条目的PubSub* to BigQuery模板*

google-bigquery、google-cloud-dataflow、google-cloud-pubsub

我使用谷歌提供的模板从PubSub转到BigQuery，没有进行任何定制。我尝试将多个条目(行)放入到队列的单个json有效负载中，然后让DataFlow模板将所有条目(行)插入到BigQuery表中。我已经尝试提供一个换行符分隔的json有效负载，就像通过控制台将数据加载到BigQuery中时所需要的一样。但是，我只能获得要插

浏览 1提问于2018-03-17得票数 0

2回答

在Java中将protobuf转换为bigquery

java、google-bigquery、protocol-buffers、google-cloud-dataflow

我们将protobuf与GCP的pubsub和dataflow一起使用。我们使用单个proto文件定义发送到pubsub的数据以及bigquery模式。发布者-(发送原型) ->发布订阅->数据流-(写入)-> bigquery 有时dataflow会做一些表面上的更改，但它主要是将字段从protobuf复制到bigquery。我的问题是，有没有

浏览 1提问于2020-11-19得票数 2

2回答

Google Dataflow能否连接到API数据源并将数据插入大查询

google-cloud-platform、google-cloud-dataflow、apache-beam

我们正在探索的用例中，我们可能不得不摄取SCADA/PIMS设备生成的数据。出于安全原因，我们不允许直接连接到OT设备或数据源。因此，该数据具有REST，可用于使用数据。请建议是否可以使用Dataflow或GCP的任何其他服务来捕获这些数据，并将其放入大型查询或任何其他相关目标服务中。如有可能，请分享关于此类要求的任何相关文件/链接。

浏览 2提问于2022-04-22得票数 1

2回答

将pubsub主题作为arugument提供时出现数据流错误

python、apache-beam

我有一个问题，我正在使用python创建数据流模板，该模板在启动新的数据流作业时需要接受3个用户定义的参数。问题出现在beam.io.gcp.pubsub.WriteToPubSub()中，我试图从ValueProvider提供主题名称，根据谷歌文档，在创建模板时需要使用该名称： https://cloud.google.com/dataflow&#x

浏览 20提问于2020-05-02得票数 1

3回答

将数据从Oracle Golden馈送到Big Query的最佳方式是什么

google-cloud-platform、google-bigquery、google-cloud-pubsub、oracle-golden-gate

做这件事最好的方法是什么？来自Oracle Golden的数据可以直接流到BigQuery中吗?或者我们需要一些连接器吗？请建议最好的方法来做这件事？

浏览 20提问于2020-07-05得票数 0

1回答

使用PubSubIO读取数据流的速度非常慢

google-bigquery、google-cloud-platform、google-cloud-dataflow、google-cloud-pubsub、apache-beam

我在使用从PubSub读取和写入BigQuery的数据流管道时遇到了一些问题。它在更新之前运行正常，现在即使我将我的流

浏览 3提问于2017-08-19得票数 0

点击加载更多

有办法定制谷歌提供的云数据流模板吗？

Google /Sub到BigQuery模板主题订阅