有没有可能在谷歌数据流中同时输入发布/订阅和BigQuery？

文章/答案/技术大牛

发布

1回答

python、google-cloud-platform、google-bigquery、google-cloud-dataflow

在我的项目中，我希望使用Google Dataflow中的流水线来处理发布/订阅消息。在清理输入数据时，我也希望有一个来自BigQuery的侧输入。这就出现了一个问题，它将导致两个输入中的一个无法工作。我在我的管道选项中设置了streaming=True，它允许正确处理发布/订阅输入。我收到了这个错误："ValueError: Cloud发布

浏览 29提问于2019-01-10得票数 2

1回答

如何通过谷歌提供的PubSub to BigQuery数据流模板使用现有的PubSub订阅

google-cloud-dataflow、google-cloud-pubsub

我正在尝试使用谷歌提供的模板PubSub to BigQuery设置一个数据流作业。我看到一个用于指定云发布/订阅输入主题的选项，但我没有看到任何用于在GCP控制台UI中指定发布/订阅输入订阅的选项。如果我提供了主题，job会自动创建一个订阅来读取所提供的主题中的消息。这样做的问题是，在数据流作业启动后，作业将仅看到发布到主题的消息。之前<e

浏览 3提问于2018-01-12得票数 3

回答已采纳

2回答

发布/订阅csv数据到数据流到BigQuery

google-cloud-platform、google-bigquery、google-cloud-dataflow、apache-beam、google-cloud-pubsub

我的渠道是IoTCore ->发布/订阅->数据流-> BigQuery。最初，我得到的数据是Json格式的，管道工作正常。现在我需要转到csv，问题是我使用的Google定义的数据流模板使用Json输入而不是csv。有没有一种简单的方法通过数据流将csv数据从发布/订阅传输到bigquery。以下是谷歌提供的模板的链接：https:/

浏览 27提问于2021-01-03得票数 0

回答已采纳

0回答

如何在BigQuery插入错误时崩溃/停止DataFlow发布/订阅摄取

google-bigquery、google-cloud-dataflow、google-cloud-pubsub

我正在寻找一种方法，使谷歌DataFlow作业停止摄取从发布/订阅时，一个(特定的)异常发生。相反，我想要做的是停止接收来自发布/订阅的消息和/或使数据流作业崩溃，以便警报可以基于最早的未确认消息的时间。至少，我希望确保那些无法插入到BigQuery中的发布/订阅消息不会被确认，这样我就可以修复问题，重新启动数据流作业，并再次使用这些消息。我

浏览 5提问于2017-06-10得票数 5

回答已采纳

1回答

使用GCP数据流PubSub to BigQuery模板时的表列名称问题

google-cloud-platform、google-bigquery、google-cloud-messaging、google-cloud-dataflow

背景：发布/订阅消息中的一些字段名包含破折号(-)，我无法控制这些破折号，并且数据流模板似乎期望在目标BigQuery表中使用完

浏览 0提问于2019-08-01得票数 0

1回答

云数据流、PubSub和Bigquery问题

java、google-bigquery、google-cloud-dataflow、publish-subscribe、google-cloud-pubsub

我想使用Cloud Dataflow、PubSub和Bigquery将tableRow写入发布订阅消息，然后将它们写入Bigquery。我希望表名、项目id和数据集id是动态的。

浏览 0提问于2018-07-15得票数 0

1回答

通过数据流SQL实现云发布/订阅到BigQuery

google-bigquery、google-cloud-dataflow、gcloud、google-cloud-pubsub

我想了解数据流管道的工作原理。在我的例子中，我有一些定期发布到云发布/订阅的内容，然后Dataflow将其写入BigQuery。通过的消息量数以千计，所以我的发布者客户端有1000条消息的批处理设置，1mb和10秒的延迟。问题是，在批处理中发布时，Dataflow SQL是接收批处理中的所有消息并将其一次性写入BigQuery，还是一次写入一条消息？ 有没有一个比另一个

浏览 35提问于2021-11-23得票数 0

回答已采纳

1回答

GCP数据流模板:无法自定义google提供的基于java的PubSubToBQ模板

java、for-loop、google-cloud-platform、google-cloud-dataflow、google-cloud-pubsub

问题陈述是我们正在自定义PubSubToBQ提供的PubSubToBQ数据流java模板，在该模板中我们将配置多个订阅/主题来读取数据并将数据推送到多个Bigquery表中，这需要作为单个数据流管道执行但是，当我们从eclipse执行模板时，我们必须在gcs桶上传递订阅/主题和烧烤细节，然后使用具有不同订阅和烧烤细节的gcloud命令运行模板。数据流作业不会被新的订阅</

浏览 0提问于2019-07-16得票数 0

1回答

导出到Bigquery的数据流: insertAll错误，无效的表引用

google-bigquery、google-cloud-dataflow、google-cloud-pubsub

我正在尝试使用数据流、发布/订阅和BigQuery来创建和导出合成数据流。{ "test_value": {{integer(1,50)}} } 该架构位于文件gs://my-folder/my-schema.json中。流似乎运行正常-我可以使用“导出到云存储”模板从相应的发布/

浏览 2提问于2020-10-27得票数 2

回答已采纳

3回答

如何检测Pubsub到Bigquery订阅的延迟？

google-cloud-platform、google-bigquery、google-cloud-dataflow、publish-subscribe、google-cloud-pubsub

当使用pub/sub对bigquery订阅(而不是通过数据流)时，如何计算发布子发布时间和到达bigquery之间的延迟？我希望只检查时间戳的差异，但注意到current_timestamp通常比publish_time早。

浏览 9提问于2022-11-24得票数 0

回答已采纳

2回答

云数据流:在BigQuery中生成表

google-bigquery、google-cloud-dataflow、google-cloud-pubsub

我有一个从云发布/订阅读取流数据的管道，这些数据由数据流处理，然后保存到一个大的BigQuery表中，每个发布/订阅消息包括一个关联的account_id。有没有办法在识别到新的account_id时动态创建新的表？然后用关联的account_id中的数据填充它们？我知道这可以通过更新每个新帐户的管道来完成。

浏览 2提问于2017-03-27得票数 3

1回答

GCP:在何处调度写入BigQuery的PubSub订阅者

python、google-bigquery、google-cloud-pubsub

我需要用Python语言从PubSub写BigQuery。我测试了一些异步用户代码，它工作得很好。但这需要持续运行，我不是100%确定在哪里安排。或者，有没有办法从Cloud Composer中可靠地运行它？我想我可以运行它一次，但我想确保它再次运行，以防它由于某种原因而失败。

浏览 3提问于2018-11-25得票数 1

1回答

如何在GCP中部署项目？

google-cloud-platform、google-cloud-dataflow

我的项目包括当文件到达云存储存储桶时，通过数据流摄取和处理文件。当我开发读取到达存储桶的文件并将其存储在BigQUery表中的pipeline.py时，这对我很有效。我还使用发布/订阅服务捕获当文件到达时的事件，此捕获是使用我的listener.py文件完成的。我的问题是，如果我需要在文件到达存储桶后激活数据流，我如何在GCP云中部署使用python开发的项目？有没有这样做的指南？

浏览 36提问于2021-11-03得票数 0

回答已采纳

2回答

在Java中将protobuf转换为bigquery

java、google-bigquery、protocol-buffers、google-cloud-dataflow

我们将protobuf与GCP的pubsub和dataflow一起使用。我们使用单个proto文件定义发送到pubsub的数据以及bigquery模式。发布者-(发送原型) ->发布订阅->数据流-(写入)-> bigquery 有时dataflow会做一些表面上的更改，但它主要是将字段从protobuf复制到bigquery。我的问题是，有没有办法将protobuf模型自动转换成bigquery的

浏览 1提问于2020-11-19得票数 2

1回答

在200-1000台服务器之间传输流并快速创建单个文件的想法

google-cloud-platform、google-cloud-dataflow、apache-beam、apache-beam-io

我们在谷歌云平台上，因此技术将是一个很好的胜利。我们有一个巨大的文件，并且数据流在输入上进行缩放，以很好地分解文件。我想知道dataflow是否擅长并行摄取和读取大型文件，它是否擅长在一群节点(而不是一个会成为瓶颈的节点)上接收各种输入。有没有办法让200个节点写入google云存储中同一文件的200个分区，使其全部为1个文件？编辑2：我看到有一个流式发布/订阅到bigquery的选项，可以在这个列表<e

浏览 31提问于2021-04-16得票数 0

回答已采纳

1回答

使用Javascript将传感器生成的数据推送到Google Cloud Function

javascript、html、node.js、google-cloud-platform、iot

我正在做一个项目，其中一个名为Eyedro的设备可以感知电压和电流等信息，并将其上传到已经设置好的云功能。这个设备有自己的接口来读取生成的数据，我有它用来做这件事的代码。

浏览 1提问于2021-02-22得票数 0

2回答

如何为google云存储中的资产创建数据目录(对象、存储桶等)使用Google数据目录服务

google-cloud-platform、google-cloud-storage、metadata

虽然谷歌数据目录处于测试阶段，但目前它为BigQuery和云发布/订阅服务提供数据目录服务支持，而不是谷歌云存储(处于测试阶段)。有没有办法使用现有的组件/服务为存储在Google云存储中的资产(存储桶、对象等)构建数据目录？什么时候我们可以期望在Google数据目录中直接支持GCS。

浏览 1提问于2019-09-12得票数 0

2回答

可以从Google Dataflow向Kafka推送消息吗？

apache-kafka、google-cloud-dataflow

有没有办法将Kafka连接成Google数据流中的接收器？我知道我们可以在发布/订阅和Kafka中使用CloudPubSubConnector，但我不想在数据流和Kafka之间使用发布/订阅。

浏览 20提问于2018-03-06得票数 0

回答已采纳

3回答

将数据从Oracle Golden馈送到Big Query的最佳方式是什么

google-cloud-platform、google-bigquery、google-cloud-pubsub、oracle-golden-gate

我期待着将数据从OGG流到BQ中。做这件事最好的方法是什么？来自Oracle Golden的数据可以直接流到BigQuery中吗?或者我们需要一些连接器吗？请建议最好的方法来做这件事？

浏览 20提问于2020-07-05得票数 0

2回答

公开Google云Pub/Sub主题？

google-cloud-platform、google-cloud-pubsub

我想玩和处理中的消息。在Pub/Sub中是否有任何公共数据提要可供我开始使用？在Dataflow 示例中，输入是从，gs://dataflow-samples/shakespeare/kinglear.txt中的文件中读取的。

浏览 0提问于2016-08-09得票数 5

回答已采纳

点击加载更多