1回答
我正在使用DataFlow管道将来自物联网设备的数据(通过PubSub订阅)传输到BigQuery。我正在寻找一种方法，可以将给定设备中的数据动态地定向到我可以动态指定的BigQuery数据集中。这是一个典型的情况:用户决定“我想要开始将数据从物联网设备A流式传输到BigQuery数据集5”，然后再决定，“现在我要开始将数据从物联网设备A流式传输到BigQuery数据集7。”我正在寻找一种无需更新设备配置或重新启动数据流作业即可完成此任务的方法。这个是可能的吗？如果不是
浏览 12提问于2019-06-30得票数 0
回答已采纳
1回答
我需要使用服务帐户执行数据流作业，我遵循的是在同一平台中提供的一个非常简单和基本的示例字数。根据这一点，GCP需要拥有数据流工作者权限的服务帐户才能执行我的作业。
浏览 2提问于2020-02-02得票数 0
2回答
我希望在向存储存储桶添加新文件时触发数据流作业，以便处理新数据并将新数据添加到BigQuery表中。我看到云通过存储桶中的更改来运行，但我还没有找到使用启动数据流作业的方法。有没有一种方法可以使用云函数来实现这一点，或者是否有其他方法来实现预期的结果(在将文件添加到存储存储桶时将新数据插入到BigQuery中)？
浏览 6提问于2016-04-02得票数 2
回答已采纳
我使用Airflow DataflowTemplateOperator()将数据从Mssql迁移到Bigquery，使用JDBC to Bigquery数据流模板。默认情况下，它会将数据追加到目标Bigquery表中。是否有默认参数可将数据流/ DataflowTemplateOperator设置从追加更改为覆盖？
浏览 2提问于2020-12-02得票数 0
数据(应该)在以下路径中流动： 带有mqtt客户端的模拟IoT设备-> IoT核心设备-> IoT核心注册表->发布/订阅主题->发布/订阅订阅->云数据流发布/订阅订阅BigQuery模板-> BigQuery当数据流在指定子网后运行时，它不会执行任何操作。它不会从订阅中提取数据，也不会输出任何错误消息。它显然没有意识到数据正被发送到主题和订阅。我还尝试了云数据流发布/订阅主题to B
浏览 21提问于2021-10-01得票数 0
回答已采纳
1回答
我们有多个作业(用Java /Kotlin编写)，它们可以以两种不同的方式运行：
当从用户帐户运行数据流作业时，Dataflow在我们的大多数Dataflow用例中，我们在项目A中运行Dataflow作业，而在项目B中从BigQuery中读取数据流作业。现在，问题是，在这两种情况下，我们似乎都需要为默认的控制器服务帐户提供对Dataflow作业中使用的BigQuery数据集的访问权。如果我们不这样做，我们将获得BigQu
浏览 0提问于2018-12-05得票数 3
3回答
只有当数据流作业执行成功完成时，我才想触发云函数。我使用数据流模板(jdbc到BigQuery)从Dataflow UI运行数据流作业。作业执行后，没有任何选项触发任何云函数或其他东西。另外，我不能修改模板代码。触发云功能的方法是什么？
浏览 4提问于2020-11-25得票数 0
回答已采纳
1回答
是否可以使用从BigQuery返回到BigQuery的数据流脚本创建云函数。我们的主表很大，并且有多个嵌套的字段，这破坏了提取功能。我们想要创建多个简单的表，这些表可以提取包含可视化的所有相关信息。仅当主表中有更改时，才应执行查询。
浏览 2提问于2018-09-03得票数 0
1回答
我有一个从pub/sub到bigquery的数据流，它使用javascript UDF来操作数据。如果我修改云存储中的文件，正在运行的数据流是否会自动更新以开始使用这个新的UDF，是否会有延迟，还是必须手动触发？我更改了UDF，但数据流的行为就像它与旧的UDF一起运行。另外，调试这些在数据流上运行的UDF的最佳方法是什么？ 谢谢!
浏览 27提问于2020-01-29得票数 0
我想通过谷歌云函数PubSub跳跳器将MQTT传感器数据流式传输到Google BigQuery。不知何故，我无法导入BigQuery ...const BigQuery = require('@google-cloud/bigquery')；
谢谢
浏览 2提问于2018-10-22得票数 0
我想从流中的api中摄取数据到bigquery。我想最好的选择是使用云数据流，以便将这些数据摄取到bigquery中，但是我不知道如何从https://developer.tomtom.com/traffic-api接口中提取数据 我是否可以在相同的数据流管道中提取数据，或者我必须创建一个实例并从中提取数据到云发布/订阅，然后使用dataflow将这些数据移动到bigquery？
浏览 16提问于2020-04-17得票数 0
回答已采纳
尝试实现云数据流任务，将数据从PostgreSQL数据库表加载到帮助下的URL文档。在执行数据流作业时遇到问题。参考屏幕截图1。
URL:方法2:使用云数据流将ETL转换为BigQuery
浏览 0提问于2018-10-08得票数 0
回答已采纳
出于报告的目的，我正在考虑将我们的购物数据移动到BigQuery。我通过shopify API对customers端点进行分页，并获得所有客户级数据。然后我将其导出为csv，然后将其存储在google云存储上，然后导入到BigQuery。我的问题是，考虑到当前customer datamart上的一些条目(例如，总订单数)可能已经更改，并且自上次表更新以来可能已经创建了一些新客户，那么处理增量数据加载的最佳方法是什么。
浏览 0提问于2021-03-06得票数 1
我正试图在google中构建python管道，而google云数据流似乎是一个不错的选择。当我研究文档和开发人员指南时，我发现apache梁总是附在数据流上，因为它是基于它的。是否有无服务器的google云工具来构建python ETL (Google云功能有9分钟的执行时间，这可能会给我的管道带来一些问题，我想避免在执行限制中)
我的管道的目标是从BigQuery读取数据，处理它，并将其重新保存到bigquery表中。
浏览 4提问于2021-08-23得票数 1
当我使用数据流时，我需要在数据流批处理作业运行时动态设置工作线程的数量。有没有办法实现这一目标？
浏览 0提问于2016-05-18得票数 3
1回答
我想在我的项目中查看BigQuery成本。我根据以下功能将日志下载到表中：protoPayload.methodName = "jobservice.jobcompleted
浏览 10提问于2022-02-21得票数 1
我正在尝试使用DataFlow (Java)将数据从云存储插入到Big Query。我可以批量上传数据；但是，我想设置流式上传。因此，当新对象添加到我的存储桶中时，它们将被推送到BigQuery。我已经将PipelineOptions设置为流式传输，它在GCP Console UI中显示数据流管道是流式传输类型。存储桶中最初的一组文件/对象被推送到BigQuery。但是，当我向存储桶中添加新对象时，这些对象不会被推送到BigQuery。为什么会这样呢？如何使用蒸汽数据流管道将添
浏览 47提问于2018-06-03得票数 3
回答已采纳
我必须将相同的数据加载到google云存储和BigQuery表中。所以我运行了两次<em
浏览 2提问于2016-08-10得票数 1
回答已采纳
我使用使用google云数据流服务已经有一段时间了。数据流管道
apache_beam.runners.dataflow.dataflow_runner.DataflowRuntimeExceptionimport job
"dataflow_job_82873
浏览 0提问于2018-05-07得票数 4
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号