我正在使用GCP处理和存储从模拟IoT设备发送的数据。数据(应该)在以下路径中流动： 带有mqtt客户端的模拟IoT设备-> IoT核心设备-> IoT核心注册表->发布/订阅主题->发布/订阅订阅->云数据流发布/订阅订阅BigQuery模板->
浏览 21提问于2021-10-01得票数 0
回答已采纳
1回答
为什么使用发布/订阅？Usecase:有一个http触发的"Cloud function“，在这个函数上发送一些数据。此函数在处理数据后，将数据发布到发布/订阅主题。然后还有另一个Cloud函数，它是基于发布到该发布/订阅主题而
浏览 7提问于2021-04-09得票数 1
回答已采纳
我希望使用Dataflow将事件从PubSub流流到BigQuery。我看到在GCP中有两个模板可以实现这一点:一个是Dataflow从主题中读取消息，另一个是订阅。在这里使用订阅的好处是什么，而不仅仅是使用主题中的事件？
浏览 0提问于2019-05-24得票数 2
回答已采纳
我一直在尝试在Airflow中使用PubSubPullSensor来拉取JSON消息并将其摄取到bigquery中，当消息大小超过阈值时，传感器无法通过XCOM拉取消息并推送。
浏览 3提问于2020-05-12得票数 0
2回答
我的渠道是IoTCore ->发布/订阅->数据流-> BigQuery。最初，我得到的数据是Json格式的，管道工作正常。现在我需要转到csv，问题是我使用的Google定义的数据流模板使用Json输入而不是csv。有没有一种简单的方法通过数据流将csv数据<em
浏览 27提问于2021-01-03得票数 0
回答已采纳
我在做一个项目，在这个项目中我遇到了一个问题，我想从BigQuery数据集中获取实时数据，所以我努力研究了解web套接字，如pusher和laravel-websocket，我还对它们进行了测试 但是有一件事我不明白，如果我把Laravel SDK和我的BigQuery项目连接起来，我没有发现BigQuery提供给我们的任何事件或方法，因为在我的场景中，大多数数据来自IoT设备，而设备使用bigQueryAPI来提供
浏览 20提问于2021-07-07得票数 0
我正在做一个项目，其中一个名为Eyedro的设备可以感知电压和电流等信息，并将其上传到已经设置好的云功能。这个设备有自己的接口来读取生成的数据，我有它用来做这件事的代码。我需要帮助使用代码获取生成的数据，并将其发送到云上。我是一个初学者，我不知道如何去解决这个问题，所以任何类型的方向都将非常感谢。下面是用于获取数据并将其打印到HTML表上的代码。
浏览 1提问于2021-02-22得票数 0
我正在尝试使用谷歌提供的模板PubSub to BigQuery设置一个数据流作业。我看到一个用于指定云发布/订阅输入主题的选项，但我没有看到任何用于在GCP控制台UI中指定发布/订阅输入订阅的选项。
如果我提供了主题，job会自动创建一个订阅来读取所提供的主题中的消息。这样做的</
浏览 3提问于2018-01-12得票数 3
回答已采纳
3回答
在Google Cloud中，我有一个IoT核心注册表，其中包含许多设备(通过MQTT连接)和两个发布/订阅主题:事件主题(针对设备遥测事件)和状态主题(针对设备状态事件)。我正在使用数据流作业处理来自事件主题的消息。 问:我如何知道给定的消息来自哪个设备？我是否需要使用某种设备ID手动丰富消息(在设备端)，或者它是由Google Cloud</
浏览 47提问于2019-05-02得票数 2
背景：发布/订阅消息中的一些字段名包含破折号(-)，我无法控制这些破折号，并且数据流
浏览 0提问于2019-08-01得票数 0
我想从流中的api中摄取数据到bigquery。我想最好的选择是使用云数据流，以便将这些数据摄取到bigquery中，但是我不知道如何从https://developer.tomtom.com/traffic-api接口中提取数据 我是否可以在相同的数据流管道中提取</em
浏览 16提问于2020-04-17得票数 0
回答已采纳
3回答
将数据从托管在mlab中的MongoDB导出到google bigquery的最佳方式是什么？最初，我尝试从MongoDB到bigquery的一次性加载，后来我考虑使用发布/订阅实时数据流到BigQuery。
我需要帮助第一次从mongodb加载到bigquery。
浏览 0提问于2017-02-11得票数 14
回答已采纳
我们的应用程序运行在Google Kubernetes Engine上，并从Google Cloud Pub/Sub订阅中提取消息。订阅大部分是空的，当批处理作业开始时，它会写入到发布/订阅主题中。自动缩放功能运行良好。一旦Pub/ subscription中有未完成的消息，它会立即( 30秒内)扩展到10个pods
浏览 61提问于2019-10-04得票数 1
我需要用Python语言从PubSub写BigQuery。我测试了一些异步用户代码，它工作得很好。但这需要持续运行，我不是100%确定在哪里安排。我一直在使用Cloud Composer (Airflow)，但它看起来不太适合，而且看起来Dataflow是GCP推荐的？对吗？
或者，有没有办法从Cloud Composer中可靠地运行它？
浏览 3提问于2018-11-25得票数 1
我正在尝试测量数据流管道的持续时间，数据流管道从发布/订阅中提取消息并将其加载到BigQuery表中。我找不到如何在BigQuery表中获取行的最后修改时间，尽管有表的最后修改日期时间。谁知道如何将上次修改的日期时间设置为BigQuery表的行？
浏览 2提问于2018-11-07得票数 0
我的GCP数据流作业立即失败，并显示以下错误消息： Workflow failed.订阅确实存在，我可以在数据流UI中单击它。我以前已经能够运行这个作业，并且它起作用了。只有当我尝试重新部署它时，它才会给出错误。编辑:这就是我获取pubsub订阅的方式 pipeline.fromSubscription(options.getSubscription
浏览 27提问于2021-04-28得票数 1
回答已采纳
如何运行从默认模板创建数据流作业的gcloud命令？例如，发布/订阅主题到BigQuery。我可以通过控制台来做到这一点，但是如果可能的话，我想通过命令行来完成这项工作？
浏览 12提问于2021-11-11得票数 0
问题陈述是我们正在自定义PubSubToBQ提供的PubSubToBQ数据流java模板，在该模板中我们将配置多个订阅/主题来读取数据并将数据推送到多个Bigquery表中，这需要作为单个数据流管道执行，以从源读取所有流并推入Bigquery表。但是，当我们从eclipse执行模板时，我们必须在gcs桶上传递订阅/主题
浏览 0提问于2019-07-16得票数 0
在我的项目中，我希望使用Google Dataflow中的流水线来处理发布/订阅消息。在清理输入数据时，我也希望有一个来自BigQuery的侧输入。这就出现了一个问题，它将导致两个输入中的一个无法工作。 我在我的管道选项中设置了streaming=True，它允许正确处理发布/订阅输入。但是BigQu
浏览 29提问于2019-01-10得票数 2
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
