有人在数据流中使用过DynamicDestination，他有一个简单且描述过的示例。我厌倦了在git (<code>C0</code>)中看到远程传送的例子，它伤害了我作为一个新手在阿帕奇光束。顺便说一下，我需要做的是从Pubsub读取消息，并通过数据流作业写入BigQuery dataset中的不同目的地(表)。我有一个自定义项目，它非常适合Bigquery表，
浏览 15提问于2020-03-18得票数 2
我们使用DataFlow读取一组PubSub主题，并将数据写入BigQuery。我们当前为每个主题使用一个DataFlow作业，并将它们写入相关的BigQuery表。是否可以为此编写一个数据流作业？我在这里看到了关于多个源到一个输出的文档：文档和我对代码的理解意味着这是可以做到的，但我
浏览 10提问于2017-03-04得票数 0
1回答
我有一个数据流管道，它从PubSub Lite读取消息，并将数据流式传输到BigQuery表中。该表按天进行分区。使用以下命令查询表时：BigQuerywithTimePartitioning(new TimePartitioning().setT
浏览 4提问于2021-10-14得票数 2
我从查找中读取一些客户记录并将其写入bigquery表，然后从该表中读取一些必需的数据字段，并尝试以批处理模式使用数据流管道将该数据(Json)作为消息推送到pubsub中。required_data = delete_rows | 'Retriving only required data' >> beam.ParDo(RequiredData())
浏览 1提问于2019-08-06得票数 0
1回答
继我在谷歌中找到的之后，我尝试做一个示例设置，在pubsub中发布消息，并使用dataflow sql将其加载到bigquery表中。但是，当我创建数据流作业时，会出现以下错误：
请帮
浏览 11提问于2022-07-07得票数 0
我正在运行一个数据流流管道，它从PubSub读取并写入BigQuery。当我试图验证所有消息都写到BigQuery时，我意识到有些消息丢失了。
如何验证发送给PubSub的所有消息是否已正确发送？
浏览 1提问于2015-08-28得票数 1
回答已采纳
我正在尝试使用数据流创建一个流式管道，该管道从PubSub主题读取消息并将它们写入BigQuery表。我不想使用任何模板。目前，我只想在从Google实例执行的Python3脚本中创建一个管道，以执行这个简单的过程，而不需要对来自Pubsub的数据进行任何转换(消息的结构就是表所期望的)。PubSub主题中发布的消息如下： data = '{"A":1
浏览 9提问于2019-10-17得票数 1
回答已采纳
我有一条管道，它从Pubsub主题(按分钟加窗口)读取，并将处理后的结果写入BigQuery。我希望按时间对表进行切分，并从数据本身中分出一些键。BigQueryIO确实提供了按窗口时间戳分割表的选项，但我认为它没有提供任何选项来通过输入集合本身的某个键分割表。如果我错过了一些替代方案，请告诉我。为了克服这个问题，(选项1)我选择用相同的键分割源Pubsub本身，设置管道从多个源读取并</e
浏览 1提问于2015-09-18得票数 4
回答已采纳
我有一个包含以下部分的Java DataFlow管道：
当要连接到的订阅列表中有多个PubSub主题时，所有元素都会在GroupByKey操作中卡在BigQuery编写器内的改组操作中。
浏览 0提问于2018-08-23得票数 1
回答已采纳
我需要阅读另一个GCP项目的PubSub主题的AVRO消息。我之前已经实现了Python管道，它从PubSub读取JSON消息并写入BigQuery。但我对处理阿夫罗的信息很陌生。我试图查找AVRO的Python文档，它将我指向这个链接
在这个链接中，有从文件读取和写入文件的示例，但我认为从PubSub读取这些函数并不有用。我使用下面的转换从<e
浏览 9提问于2020-04-14得票数 2
回答已采纳
我想读取pubsub主题，并使用用Python语言编写的数据流代码将数据写入BigTable。我可以在JAVA中找到示例代码，但在Python中找不到。如何从pubsub中将一行中的列分配给不同的列族，并将数据写入Bigtable？
浏览 1提问于2020-07-22得票数 2
是否有任何Python模板/脚本(现有的或路线图)供数据流/光束从PubSub读取和写入BigQuery？根据GCP文档，这里只有一个Java模板..。 谢谢！
浏览 88提问于2021-02-21得票数 1
回答已采纳
我一直在阅读关于DataFlow如何在流中读取数据时破坏消息。根据和的答案，似乎DataFlow 'ack‘是按包发送的消息，只要它完成了这个包，那么它就会’打包‘其中的消息。
浏览 2提问于2020-03-10得票数 2
回答已采纳
2回答
我正在尝试用Dataflow创建一个流管道，它从PubSub主题中读取消息，最终将它们写入BigQuery表中。我不想使用任何数据流模板。目前，我只想在从Google实例执行的Python3脚本中创建一个管道，以执行来自Pubsub的每条消息的加载和转换过程(解析其中包含的记录并添加一个新字段)，最终将结果写入BigQuery表。我想要处理的问题是：
如果有些消息带有意外的结构
浏览 0提问于2019-11-14得票数 3
回答已采纳
1回答
我的基本要求是创建一个从BigQuery表读取的管道，然后将其转换为JSON并将其传递到PubSub主题.一开始，我从Big中读取，并尝试将其写入Pub主题，但得到了一个exception error saying "Pub Sub" is not supported for batch pipelines所以我尝试了一些解决办法
读取<
浏览 4提问于2021-10-13得票数 0
回答已采纳
1回答
我有一个要求，我需要创建一个数据流作业，该作业将通过过滤将作为json数据一部分的属性的消息，将数据从Google PubSub主题传输到BigQuery表。使用谷歌提供的模板，我可以使用谷歌提供的"PubSub to BigQuery“模板，但这不允许对数据进行过滤。
有办法定制模板"PubSub到Bigquery“吗？
浏览 0提问于2018-11-27得票数 2
如果有人能在这里提供帮助，我将不胜感激，我们刚刚开始研究GCP，需要一个健壮且简单的模式来将发布在云发布/订阅上的xml格式的事务数据加载到一个日期分区的BigQuery表中，以便在AirFlow编排的复杂下游批处理中使用也许可以更进一步，将原始xml存储在BQ中，并使用BQ sql + UDF转换为json？ 非常感谢有任何提示，谢谢！ /Mattias
浏览 22提问于2020-06-29得票数 0
我有一个BigQuery维度表(变化不大)和一个来自PubSub的流JSON数据。我想要做的是查询这个维度表，并通过连接来自PubSub的传入数据来丰富数据，然后将这些已连接的数据流写入另一个BigQuery表。我应该先做PTransform of BigQuery (然后是PTransform of PubSub)还是PTransform of PubSub f
浏览 11提问于2021-01-23得票数 2
回答已采纳
当创建新的Dataflow Pub/Sub到BigQuery模板时，可以指定PubSub topic。似乎无法提供现有的PubSub subscription，相反，每当数据流模板运行时都会创建一个新的订阅。就我所理解的PubSub模型而言，确保我们继续从主题的同一位置读取数据的唯一方法是重用相同的订阅，这里似乎没有这样的选项。
当用户想重新部署这样的数据流模板时会发生什么？
浏览 0提问于2018-09-18得票数 2
回答已采纳
我有一个在pubSub中创建主题并将消息发布到该主题的程序。我还有一个自动的数据流作业(使用模板)，它将这些消息保存到我的BigQuery表中。现在我打算用python管道替换基于模板的作业，我的需求是从PubSub读取数据，应用转换，并将数据保存到BigQuery/发布到另一个PubSub主题。我开始用python编写脚本，并做了很多尝试和错误来实现它
浏览 3提问于2019-09-16得票数 0
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
