1回答
我有一个要求，我需要创建一个数据流作业，该作业将通过过滤将作为json数据一部分的属性的消息，将数据从Google PubSub主题传输到BigQuery表。使用谷歌提供的模板，我可以使用谷歌提供的"PubSub to BigQuery“模板，但这不允许对数据进行过滤。
有办法定制<
浏览 0提问于2018-11-27得票数 2
我正在尝试使用谷歌提供的模板PubSub to BigQuery设置一个数据流作业。我看到一个用于指定云发布/订阅输入主题的选项，但我没有看到任何用于在GCP控制台UI中指定发布/订阅输入订阅的选项。
如果我提供了主题，job会自动创建一个订阅来读取所提供的主题中的消息。这样做的问题是，在<
浏览 3提问于2018-01-12得票数 3
回答已采纳
我正在使用PubSub来捕获实时数据。然后使用GCP数据流将数据流式传输到BigQuery中。我正在使用Java进行数据流。目前，我正在将字符串格式的消息发送到PubSub (这里
浏览 18提问于2018-02-21得票数 0
我正在尝试使用谷歌提供的模板PubSub to BigQuery设置一个数据流作业。，我在启动时得到了这个错误：我认为谷歌提供的模板是硬编码的</em
浏览 12提问于2018-02-01得票数 1
回答已采纳
我想玩和处理中的消息。在Pub/Sub中是否有任何公共数据提要可供我开始使用？在Dataflow 示例中，输入是从，gs://dataflow-samples/shakespeare/kinglear.txt中的文件中读取的。
浏览 0提问于2016-08-09得票数 5
回答已采纳
1回答
继我在谷歌中找到的之后，我尝试做一个示例设置，在pubsub中发布消息，并使用dataflow sql将其加载到bigquery表中。但是，当我创建数据流作业时，会出现以下错误：
启动SQL作业的无效/不受支持的参数:数据目录中的无效表规范:在为Pubsub主题创建TABLE.CREATE表中为Pubsub源指定的不
浏览 11提问于2022-07-07得票数 0
1回答
我有一个数据流管道，它从PubSub Lite读取消息，并将数据流式传输到BigQuery表中。该表按天进行分区。使用以下命令查询表时：BigQuery我的管道已经运行了整整一周，在过去的两天里我得到了同样的结果。然而，对于202
浏览 4提问于2021-10-14得票数 2
我使用谷歌模板为同一个创建了一个PubsubToBigQuery数据流，用于存储我的事件日志。如何实现这一目标？
浏览 0提问于2019-06-12得票数 0
我想要实现的：每次我上传一个文件到云存储，它将自动被写入BigQuery。但是他们不一起工作。如何让云函数触发来激活数据流部分？这是一个脚本，还是只是一些设置，我错过了？
缺少一些东西把它们连接起来。我对此比较陌生，我一直在寻找这方面的教程，但我不知道我是否一直在搜索错误的关键字，我找不到任何相关<em
浏览 7提问于2021-03-03得票数 0
回答已采纳
1回答
我需要使用服务帐户执行数据流作业，我遵循的是在同一平台中提供的一个非常简单和基本的示例字数。根据这一点，GCP需要拥有数据流工作者权限的服务帐户才能执行我的作业。即使我已经设置了所需的权限，当错误仍然出现时，weir部分就会出现：
有人能解释这种奇怪的行为吗？非常感谢
浏览 2提问于2020-02-02得票数 0
1回答
我打算在写入云存储之前，使用带有少量定制的Pub/Sub to Text Files on Cloud Storage数据流模板，例如处理(消息) PubSub消息。它使用的参数将与Pub/Sub to Text Files on Cloud Storage完全相同 从documentation我了解到，我可以使用谷歌提供的模板之一，也可以创建
浏览 37提问于2020-09-28得票数 1
回答已采纳
我目前在GCP中有一个管道，它使用云函数摄取数据，将其存入PubSub，在数据流中进行处理，最后将其插入到BigQuery中。我正在尝试计算平均消息从云函数摄取到BigQuery需要多长时间(包括插入时间)。
我了解Stackdriver指标/仪表板以及GCP的API仪表板。我很想简单地将每个服务的所有延迟值相加，但我不确定它是否涵盖了我无法控制的延迟值(例如，插入到BQ，从数据流
浏览 2提问于2019-11-21得票数 0
1回答
这是一个设计方法问题，我们试图在Apache / Google和Cloud之间选择最佳选项，从HTTP (源)中提取数据，然后将它们向下放到Google BigQuery (接收器)。传统上，我们使用谷歌数据流( Google )实现类似的功能，其中的源是谷歌存储桶中的文件或谷歌PubSub中的消息，等等。在这些情况下，数据以“推”的方式到达，因此<em
浏览 5提问于2022-11-10得票数 0
在谷歌云数据流/光束中，我们可以使用这个Metrics API收集应用程序指标，并且可以使用另一个API在应用程序中查询它。但我需要将这些指标持久化到Bigquery/Prometheus中，以实现实时监控和警报机制。请建议如何在谷歌云数据流中实现这一点。
浏览 33提问于2020-01-14得票数 0
回答已采纳
我已经编写了一个部署管理器模板，它将在新项目中部署云调度器、pubsub、bigquery、桶、云构建、云功能。因此，当我们第一次部署时，它会出现一个错误，因为默认情况下，在新项目中，这些服务的API是禁用的。那么，我的问题是如何使用部署管理器在GCP中启用云调度器API、pubsub、bigquery、桶API、云构建API和
浏览 4提问于2022-06-13得票数 2
回答已采纳
TLDR：我希望每个月使用dataflow API和模板使用不同的查询运行beam.io.BigQuerySource。我想使用Dataflow API来自动化这个批处理管道的运行，使用云函数、pubsub事件、云调度器。
我的query_bq函数在编译和创建数据
浏览 1提问于2020-06-29得票数 1
回答已采纳
1回答
使用数据流模板，即云存储文本到BigQuery (流)模板，过去可以将"inputFilePattern“(即:您想要处理的文本的云存储位置)描述为正则表达式。例如，您可以输入gs://my-bucket/my- files /file-to-upload*作为参数，然后所有以"file-to-upload“开头的文件都将被流式传输。不幸的
浏览 11提问于2020-09-08得票数 0
我有两个问题
1)我想使用Kafka和Google云数据流管道程序。在我的管道程序中，我想读取卡夫卡的数据，有可能吗？2)我创建了启用了BigQuery的实例，现在我想启用Pubsub，我能做什么呢？
浏览 0提问于2015-04-27得票数 0
回答已采纳
我使用谷歌提供的模板从PubSub转到BigQuery，没有进行任何定制。我尝试将多个条目(行)放入到队列的单个json有效负载中，然后让DataFlow模板将所有条目(行)插入到BigQuery表中。我已经尝试提供一个换行符分隔的json有效负载，就像通过控制台将数据加载到BigQuery中时所需要的
浏览 1提问于2018-03-17得票数 0
我已经用python完成了从MySql到bigQuery的ETL，但是由于我没有连接/ cloud的权限，我必须在最后一个日期之前转储数据和分区，这样做很容易，但并不值得，因为花很多时间，我想使用从MySql/mongo到bigQuery的气流，而不使用google存储/ cloud，这是可能的吗？
浏览 0提问于2019-10-31得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
