我正在使用PubSub来捕获实时数据。然后使用GCP数据流将数据流式传输到BigQuery中。我正在使用Java进行数据流。目前，我正在将字符串格式的消息发送到PubSub (这里使用</e
浏览 18提问于2018-02-21得票数 0
我希望执行一个代码，以读取数据从pub sub和存储到一个大表使用python code.The要求是不使用数据流选项。 你可以让我知道任何模板或样本代码，以实现相同的。 提前谢谢你！
浏览 14提问于2019-12-18得票数 0
据我所知，将数据流到BigQuery将导致重复的行，如此处所述，
另一方面，将数据上载到PubSub，然后使用数据流将数据插入Bigquery将防止重复行？这里还有一个实时数据分析教程( )。那么，其他的优点和缺点是什么，在什么情况下，我应该使用数据流从PubSub流数据。
浏览 9提问于2017-05-02得票数 4
回答已采纳
所以我有一个将消息发布到pubsub的应用程序的后端。我有一个数据流将消息流到bigquery，在那里我可以将数据转储到其他有趣的事情上。Dataflow unable to determine backlog for pubsub subscription projects/$NAME/subscri
浏览 1提问于2021-04-22得票数 1
1回答
我有一个要求，我需要创建一个数据流作业，该作业将通过过滤将作为json数据一部分的属性的消息，将数据从Google PubSub主题传输到BigQuery表。使用谷歌提供的模板，我可以使用谷歌提供的"PubSub to BigQuery“模板，但这不允许对数据进行过滤。
有办法定制模板"PubSub到Bigquery<
浏览 0提问于2018-11-27得票数 2
我知道数据流可以使用BigQuery表(或BigQuery表的SQL式查询)进行输入，但是是否可以将保存的视图作为数据流的输入？
浏览 10提问于2017-07-12得票数 2
我有一个数据流任务，订阅来自PubSub的消息： p.apply("pubsub-topic-read", PubsubIO.readMessagesWithAttributes()
.fromSubscription(options.getPubSubSubscriptionName()).withIdAttribute("uuid")) 我在文档中看到，不能保证不复制，比姆建议使用withIdAttribute。直到我排空一个现有作业，等待它完成并重新启动另
浏览 21提问于2019-04-05得票数 1
我们需要使用dataflow.Do将数据从Bigquery推送到pubsub作为事件，我们有任何可用于相同的模板(据我所知，使用DF模板的pubsub到BQ是可用的)。如果我们使用数据流机制设置为true -我们需要任何调度器来调用dataflow来获取数据并将数据推送到pubsub吗？请在这方面给我指点一下。
浏览 2提问于2021-10-11得票数 0
我以字典的形式将来自Google Cloud Pubsub的(无界的)数据导入PCollection。随着流数据的传入，我想通过在静态(有界的)查找表上通过键连接它来丰富它。我目前有一个使用DirectRunner运行的有效解决方案，但是当我尝试在DataflowRunner上运行它时，我得到了一个错误。我已经使用beam.io.ReadFromText函数从csv中读取了有界查找表，并将值解析到字典中。然后，我创建了一个ParDo函
浏览 7提问于2019-09-05得票数 4
显然，bigquery是生成聚合表的正确工具，但不是快速查找的合适工具。所以我需要把它抵消到另一个数据存储区，比如消防局。但这样做的最佳过程是什么呢？我可以设想几个策略：
1)将agg表的转储安排到GCS。启动数据流作业，将gcs转储的内容流到pubsub。创建一个无服务器函数来侦听pubsub，并将行插入到防火墙中。2)在计算引擎上运行一个长时间运行的<
浏览 2提问于2019-09-30得票数 0
回答已采纳
1回答
我有一个数据流管道，它从PubSub Lite读取消息，并将数据流式传输到BigQuery表中。该表按天进行分区。使用以下命令查询表时：BigQuery我的管道已经运行了整整一周，在过去的两天里我得到了同样的结果。然而，对于2021-10-11和之
浏览 4提问于2021-10-14得票数 2
3回答
我有一个从PubSub主题读取事件数据的数据流管道。当收到消息时，我执行一个转换步骤，将事件数据与我想要的BigQuery模式相匹配。但是，如果创建的输入不符合模式，则会遇到问题。有没有一种方法可以尝试写到BigQuery，如果这样做失败了，用原始的输入做其他的事情？或者，是否有一种方法可以尝试多次编写，否则在不添加新RuntimeErrors的情况下默默地失败？编辑：，我正在使用
浏览 4提问于2018-05-08得票数 4
我正在用Python语言创建一个自定义的数据流作业，以便将数据从PubSub摄取到BigQuery。表中有许多嵌套的字段。 我可以在这个管道中的哪里设置Coder？TableRowJsonCoder(table_schema=avail_schema)
# Read the text from PubSub# transformed = li
浏览 10提问于2019-08-22得票数 0
回答已采纳
我目前在GCP中有一个管道，它使用云函数摄取数据，将其存入PubSub，在数据流中进行处理，最后将其插入到BigQuery中。我正在尝试计算平均消息从云函数摄取到BigQuery需要多长时间(包括插入时间)。
我了解Stackdriver指标/仪表板以及GCP的API仪表板。我很想简单地将每个服务的所有延迟值相加，但我不确定它是否涵盖了我无法控制的延迟值(例如，插入到BQ，从数据流推送到pubsub
浏览 2提问于2019-11-21得票数 0
我希望将数据流到BigQuery中，并且我正在考虑使用PubSub + Cloud函数，因为不需要进行转换(至少目前是这样)，而且使用云数据流似乎有点过分，只需将行插入到表中即可。我是对的？数据是使用Python脚本从GCP流到PubSub中的，其格式如下：
{'SEGMENT':'datetime':'2020-12-05 11:
浏览 10提问于2020-12-05得票数 1
回答已采纳
1回答
我们需要创建一个从PubSub到Elasticsearch的数据流作业，但是该作业不能使出站互联网连接到Elastic。
谢谢
浏览 16提问于2022-08-04得票数 1
回答已采纳
我使用谷歌模板为同一个创建了一个PubsubToBigQuery数据流，用于存储我的事件日志。如何实现这一目标？
浏览 0提问于2019-06-12得票数 0
有人在数据流中使用过DynamicDestination，他有一个简单且描述过的示例。我厌倦了在git (<code>C0</code>)中看到远程传送的例子，它伤害了我作为一个新手在阿帕奇光束。顺便说一下，我需要做的是从Pubsub读取消息，并通过数据流作业写入BigQuery dataset中的不同目的地(表)。我有一个自定义项目，它非常适合Bigquery表，但Pubs
浏览 15提问于2020-03-18得票数 2
我们将protobuf与GCP的pubsub和dataflow一起使用。我们使用单个proto文件定义发送到pubsub的数据以及bigquery模式。发布者-(发送原型) ->发布订阅->数据流-(写入)-> bigquery
有时dataflow会做一些表面上的更改，但它主要是将字段从protobuf复制到bigquery。我的</e
浏览 1提问于2020-11-19得票数 2
如果有人能在这里提供帮助，我将不胜感激，我们刚刚开始研究GCP，需要一个健壮且简单的模式来将发布在云发布/订阅上的xml格式的事务数据加载到一个日期分区的BigQuery表中，以便在AirFlow编排的复杂下游批处理中使用为了在摄取端允许模式漂移，一种选择是将xml转换为json，并将json存储为字符串，并在顶部使用json函数提取字段以进行下游处理，这种方法的优缺点是
浏览 22提问于2020-06-29得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号