我正在尝试通过数据流模板"Pub/Sub Avro to Bigquery“将数据从Pub/Sub流式传输到Bigquery。Pub/Sub中的数据是AVRO格式的，来自Kafka主题。它看起来是这样的： {"type":"record","name":"KsqlDataS
浏览 32提问于2021-01-22得票数 0
几周前，我从一个模板(到BigQuery)创建了一个数据流作业。我停止了作业，然后尝试用相同的模板创建一个新作业(到BigQuery)。现在，我看到了两个需要的新字段(在GCS通知策略中使用的Pub/Sub订阅。，Datastream输出文件格式(avro/json))。我不知道我应该进入这些领域。页面上的教程甚至不起作用。
浏览 1提问于2021-07-27得票数 1
我在数据流中使用Pub/Sub订阅BigQuery模板。Pub/Sub订阅中的消息数据是csv格式，如下所示
这将在加载到BigQuery如何在模板中将CSV数据转换为JSON？
浏览 0提问于2021-03-10得票数 0
目前，我有一个系统，希望通过Google函数将该系统中的数据发送到BigQuery (使用Python)。我的想法是分两个简单的步骤：
因为我想使用这个系统每天触发超过一千次，我想我需要一个更好的设置。
使用添加数据，但我不确定该数据是否具有相同的速率限制，
浏览 5提问于2022-06-28得票数 0
回答已采纳
但是，当我通过SSH连接到数据流VM并运行docker ps时，我发现它引用的docker镜像与我们在模板中指定的镜像(绿色下划线)不同： ? /Sub, uses Beam SQL to transform the message data, and writes the results to a BigQuery", "parameters": [
浏览 17提问于2020-07-22得票数 2
回答已采纳
我们开发了一个基于Google平台的应用程序，它使用Cloud将数据写入BigQuery。我现在试图在另一个组织的新GCP项目上设置这个应用程序。我正在体验这个
作业是从创建的。模板是相当
浏览 0提问于2019-08-12得票数 1
回答已采纳
我正在尝试通过部署管理器创建一个模板Pub/Sub到BigQuery的数据流作业。问题是在运行gcloud deployment-manager types list命令之后，我没有看到任何数据流服务。
是否可能有一个yaml文件来创建数据流作业？
浏览 3提问于2020-09-01得票数 2
回答已采纳
我正在尝试设计一个摄取应用程序，我首先认为在cron作业中编写一个简单的Python脚本来顺序读取文件(甚至在两个三线程中)，然后将它们作为消息发布到pub/sub是一个好主意。此外，我需要有一个数据流作业运行，始终从发布/订阅读取数据，并将它们保存到BigQuery。但是我真的想知道在这里我是否需要发布/订阅，我知道数据流可以非常灵活，我想知道我是否可以将1TB的数据作为批处理作业直接从GCS摄取到BigQuery，或者更好的做法是通过我上面提到的流式作业
浏览 4提问于2019-02-15得票数 1
我正在设计CDC管道，使用DataStreams和GCP上的Dataflow将数据从cloud传输到CloudStorage，数据部分工作良好，我可以看到数据正在以avro格式成功地传输到CloudStorage当涉及到DataFlow时，我使用的是DataFlow模板DataStream to BigQuery和屏幕截图中的配置
我可以看到DataFlow作业启动并运行，日志中没有错误，但是我看不到从Cloud到BigQuery的任何数据传输。在我看来，还缺少一些东西，那就是云存储和Pub/<
浏览 2提问于2022-08-17得票数 1
回答已采纳
如果可能的话，如果有人可以给我指出正确的方法，那么使用pub/sub大规模地将传入的流.csv文件导入BigQuery (使用数据流应用了一些转换)的最佳方法是什么？由于im考虑使用pub/ sub来处理传入.csv文件的多个大原始流1.传入raw.csv文件> 2. pub/sub > 3.云存储> 4.云函数(触发数据流)> 5.BigQu
浏览 0提问于2018-05-06得票数 0
回答已采纳
当创建新的Dataflow Pub/Sub到BigQuery模板时，可以指定PubSub topic。似乎无法提供现有的PubSub subscription，相反，每当数据流模板运行时都会创建一个新的订阅。当用户想重新部署这样的数据流模板时会发生什么？我们会失去部署之间的所有数据吗？
浏览 0提问于2018-09-18得票数 2
回答已采纳
2回答
我的渠道是IoTCore ->发布/订阅->数据流-> BigQuery。最初，我得到的数据是Json格式的，管道工作正常。现在我需要转到csv，问题是我使用的Google定义的数据流模板使用Json输入而不是csv。有没有一种简单的方法通过数据流将csv数据从发布/订阅传输到bigquery。模板可能可以更改，但它是用Java实现的，我从未用过Java，所以实现起来需要很长时间。我也考虑过用python实现一个完整的自定义
浏览 27提问于2021-01-03得票数 0
回答已采纳
背景：发布/订阅消息中的一些字段名包含破折号(-)，我无法控制这些破折号，并且数据流模板似乎期望在目标BigQuery表中使用完全相同的字段名。"reason" : "i
浏览 0提问于2019-08-01得票数 0
我想读取Google PubSub主题上的传入数据，处理数据并将其转换为统一的数据结构，然后将其插入到Google BigQuery中的数据集中。据我所知，可以使用某种流数据的管道。
浏览 2提问于2018-05-03得票数 0
回答已采纳
1回答
我试图使用内置的Pub/Sub功能将pub/sub设置为BigQuery，而不是使用数据流，但是我的pub/sub主题没有为其分配模式。
浏览 4提问于2022-08-15得票数 0
回答已采纳
我希望使用Dataflow将事件从PubSub流流到BigQuery。我看到在GCP中有两个模板可以实现这一点:一个是Dataflow从主题中读取消息，另一个是订阅。
浏览 0提问于2019-05-24得票数 2
回答已采纳
我们目前通过csv或直接通过流式API将大部分数据加载到BigQuery中。然而，我想知道是否有可用的基准(或者Google工程师可以在答案中告诉我)加载不同格式的效率如何比较。例如，如果我们有相同的100行数据，BigQuery是否显示与加载它有任何性能差异：
我相信其中一个答案将是“为什么你不测试它”，但我们希望
浏览 1提问于2018-03-14得票数 1
回答已采纳
目前，通过使用谷歌提供的评估从pub/sub到bq的流进程，并不断得到以下错误：BQ中消息的架构被匹配。但不知何故，乔布斯无法给BQ写消息。有什么好主意吗？
浏览 3提问于2022-01-28得票数 1
我已经创建了一个标准的PubSub到BigQuery数据流。然而，为了确保我不会在离线时增加巨额费用，我取消了数据流。
浏览 11提问于2018-01-03得票数 12
回答已采纳
Payload: " + payload);
}跟踪设备将不断地将数据发送到此应用程序公开的TCP端口，该端口需要转换，然后持久化到BigQuery我不知道的是如何以及在哪里添加来自GC PubSub的Google Cloud Dataflow代码我们的目标是将数据插入到GC BigQuery和GC SQL中，因此回答将导致数据插入到这些服务中是可以的
浏览 3提问于2018-01-26得票数 2
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号