2回答
我的渠道是IoTCore ->发布/订阅->数据流-> BigQuery。最初，我得到的数据是Json格式的，管道工作正常。现在我需要转到csv，问题是我使用的Google定义的数据流模板使用Json输入而不是csv。有没有一种简单的方法通过数据流将csv数据从发布/订阅传输到bigquery。
浏览 27提问于2021-01-03得票数 0
回答已采纳
3回答
将数据从托管在mlab中的MongoDB导出到google bigquery的最佳方式是什么？最初，我尝试从MongoDB到bigquery的一次性加载，后来我考虑使用发布/订阅实时数据流到BigQuery。
我需要帮助第一次从mongodb加载到bigquery。
浏览 0提问于2017-02-11得票数 14
回答已采纳
我希望使用Dataflow将事件从PubSub流流到BigQuery。我看到在GCP中有两个模板可以实现这一点:一个是Dataflow从主题中读取消息，另一个是订阅。在这里使用订阅的好处是什么，而不仅仅是使用主题中的事件？
浏览 0提问于2019-05-24得票数 2
回答已采纳
我可以看到三种不同的方法：
将每个事件发布到API中的Pub/Sub主题，但是不要使用Dataflow，而是使用一个定制的工作进程，它一
浏览 7提问于2018-01-11得票数 21
1回答
为什么使用发布/订阅？Usecase:有一个http触发的"Cloud function“，在这个函数上发送一些数据。此函数在处理数据后，将数据发布到发布/订阅主题。然后还有另一个Cloud函数，它是基于发布到该发布/订阅主题而触发的。因此，这个云函数从发布/订阅中获取已
浏览 7提问于2021-04-09得票数 1
回答已采纳
我在做一个项目，在这个项目中我遇到了一个问题，我想从BigQuery数据集中获取实时数据，所以我努力研究了解web套接字，如pusher和laravel-websocket，我还对它们进行了测试 但是有一件事我不明白，如果我把Laravel SDK和我的BigQuery项目连接起来，我没有发现BigQuery提供给我们的任何事件或方法，因为在我的场景中，大多数数据来自IoT设备，而设备使用bigQueryAPI来提供数据，我也希望这些设备的数据是实时的
浏览 20提问于2021-07-07得票数 0
我正在使用GCP处理和存储从模拟IoT设备发送的数据。数据(应该)在以下路径中流动： 带有mqtt客户端的模拟IoT设备-> IoT核心设备-> IoT核心注册表->发布/订阅主题->发布/订阅订阅->云数据流发布/订阅订阅BigQuery模板-> BigQuery当数据流在指定子
浏览 21提问于2021-10-01得票数 0
回答已采纳
我正在尝试找到一种方法，使用这个链接自动更新一个大型查询表：
这个链接每周都会更新新的数据，我希望能够用这个新数据替换大查询表。我该如何提交一个脚本来导入数据并将这些数据提供给Big Query呢？
浏览 0提问于2019-12-25得票数 0
1回答
从发布/订阅流到BigQuery
、、、、
我正在尝试使用python数据流将一些数据从google PubSub传输到BigQuery中。出于测试目的，我已经将以下代码修改为流管道，方法是设置因此，我将record_ids管道更改为从发布/订阅读取lines = p | 'Read PubSub' >> beam.io.ReadStringsFromPubSub(INPUT_T
浏览 1提问于2017-09-07得票数 5
这个设备有自己的接口来读取生成的数据，我有它用来做这件事的代码。我需要帮助使用代码获取生成的数据，并将其发送到云上。我是一个初学者，我不知道如何去解决这个问题，所以任何类型的方向都将非常感谢。下面是用于获取数据并将其打印到HTML表上的代码。
浏览 1提问于2021-02-22得票数 0
我正在使用扫雪机进行行为数据跟踪。docs.snowplowanalytics.com/docs/getting-started-on-snowplow-open-source/setup-snowplow-on-gcp/setup-bigquery-destination/)将数据从发布/订阅使用到BigQuery，但我希望直接使用从发布/订阅到Java API的
浏览 20提问于2021-05-07得票数 0
回答已采纳
我没有故意在文件集中定义模式，因为我希望数据目录自动在文件内/从文件中找到技术元数据。一切都是通过Google控制台UI进行设置的。 Data Catalog找不到与存储桶中的文件相关的元数据。但是，如果我创建了一个发布/订阅主题的BigQuery表，来自这些资源的元数据会立即显示出来。 我希望Data Catalog能够扫描存储桶中的文件，并自动显示元数据(可搜索)。存储桶中的文件可以是.avro、.json、.parquet或.
浏览 23提问于2021-03-18得票数 1
回答已采纳
我正在尝试找出是否有任何GCP数据流模板可用于“发布/订阅到云扳手”的数据摄取。我发现已经有一个默认的GCP数据流模板可用于示例-“云发布/订阅到BigQuery”。因此，我有兴趣看看我是否可以在流或批处理模式下对扳手进行数据摄取，以及行为会如何
浏览 27提问于2019-03-02得票数 0
在google文档中，我可以看到关于分区表的以下几点:流到分区表中您可以将数据流到在过去5年和未来1年之间的日期或时间戳列上分区的表中。超出此范围的数据将被拒绝。https://cloud.google.com/bigquery/streaming-data-into-bigquery 在一个地方写着:你可以在过去的1年到未来的6个月之间流式传输数据。超出此范围的数据将被拒绝。https:&#x
浏览 16提问于2020-09-16得票数 0
回答已采纳
2回答
我正在使用下面的ETL管道将数据输入BigQuery。数据源是.csv & .xls文件，来自每日下午3点发布的网址云调度程序在下午3:05向云发布/子主题发布消息Pub/Sub推送/触发订阅者-云函数在触发时，这些云函数(python )从URL下载文件，执行转换(清理、格式化、聚合和过滤)并将其上传到BigQuery。在GCP中是否有一种更干净的方法可以根据计划从URL下载文件，将其转换并上传
浏览 4提问于2022-07-27得票数 1
我想从流中的api中摄取数据到bigquery。我想最好的选择是使用云数据流，以便将这些数据摄取到bigquery中，但是我不知道如何从https://developer.tomtom.com/traffic-api接口中提取数据 我是否可以在相同的数据流管道中提取数据，或者我必须创建一个实例并从中提取数据到云发布/订阅，然
浏览 16提问于2020-04-17得票数 0
回答已采纳
我在数据流中使用Pub/Sub订阅BigQuery模板。Pub/Sub订阅中的消息数据是csv格式，如下所示
这将在加载到BigQuery如何在模板中将CSV数据转换为JSON？
浏览 0提问于2021-03-10得票数 0
4回答
我正在尝试使用python脚本将已经从BigQuery导出的csv文件从迁移到PostgreSQL Google实例。
作为另一种选择，我可以使用psycopg2库并将csv文件的行流到SQL实例中。本质上，我在BigQuery中有一些原始数据，我们在导出到GCS之前对这些数据做了一些预处理，以准备导入到Postg
浏览 2提问于2018-10-03得票数 6
回答已采纳
1回答
在SQL 2008级别的一个数据库中，我有一个可更新的发布(称为目录)，它未经过滤，由SQL 2000服务器订阅，然后重新发布到MS Access客户端。我可以在make订阅服务器上进行插入/更新，它们很好地流到SQL 2008服务器。在SQL 2008的另一个数据库中，我有几个出版物。第一个发布具有基于区域值的静态筛选器。另一个出版物是订单和行的未经过滤的发布。这两个发布都由SQL 20
浏览 0提问于2009-09-03得票数 1
2回答
我有一个作为流的数据管道: app发布到pubsub，推到BigQuery。在Docs 中的示例中，它们向托管在AppEngine中的工作人员提供pubsub推送，该工作人员随后处理数据(在我的示例中是写入适当的BigQuery表)。但是，是否有可能通过订阅BigQuery表直接推送pubsub呢？
浏览 3提问于2016-11-10得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
