文章/答案/技术大牛

发布

社区首页 >问答首页 >云数据流:如何在PubSub to BigQuery中使用谷歌提供的模板

问云数据流:如何在PubSub to BigQuery中使用谷歌提供的模板
EN

Stack Overflow用户

提问于 2018-02-21 09:35:43

回答 1查看 934关注 0票数 0

我正在使用PubSub来捕获实时数据。然后使用GCP数据流将数据流式传输到BigQuery中。我正在使用Java进行数据流。

我想尝试一下DataFlow中给出的模板。流程为: PubSub --> DataFlow --> BigQuery

目前，我正在将字符串格式的消息发送到PubSub (这里使用Python )。但是数据流中的模板只接受JSON消息。python库不允许我发布JSON消息。有没有人能给我一个建议，把JSON消息发布到PubSub，这样我就可以使用数据流模板来完成这项工作。

发布于 2018-02-22 03:18:52

由谷歌提供的将数据从PubSub输送到BQ的管道现在采用JSON格式，并在另一端采用匹配的模式。

将JSON发布到Pubsub与发布字符串没有什么不同。您可以尝试使用以下代码片段将python dict转换为JSON：

import json
py_dict = {"name" : "Peter", "locale" : "en-US"}
json_string = json.dumps(py_dict)

如果您想对管道进行大量定制，您还可以在以下位置获取源代码并构建自己的源代码。

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/48896905

复制

相似问题

问云数据流:如何在PubSub to BigQuery中使用谷歌提供的模板EN