到目前为止，我发现的示例是将json流式传输到BQ，例如# [START stream_row_to_bigquery]
def stream_row_to_bigquery(bigquery, project_id, d
浏览 2提问于2016-08-23得票数 3
1回答
我的目标是添加一些字段并将数据流式传输到BigQuery中。 我的第一种方法是change the File Struct并将更新后的Structs流式传输到BigQuery。这看起来像是一条死路，我正在尝试使用建议的方法，将结构编组到JSON中，并将其流传输到BigQuery中。我找到了这个示例bigquery-table-insert-rows，但它实现了ValueSaver接口。对我来说，一个
浏览 19提问于2020-12-20得票数 0
我正在尝试使用类似于教程的Java驱动程序将数据流式传输到BigQuery，该教程将数据从地图插入到BigQuery表中。支持在插入时将行指定为JSON，所以我想知道是否可以使用JSON驱动程序将JSON流式传输到bigquery，而不必使用如下示例所示的映射。;
rowContent.put("recordField", r
浏览 6提问于2017-08-01得票数 0
回答已采纳
我必须使用BigQuery从Google Analytics中提取数据，并将JSON加载到SQL Server。我知道我们可以在C#中调用GS，在JSON中流式传输数据，并将其上传到Google Storage中，然后使用GSUTIL.exe将JSON文件从GS复制到BigQuery服务器进行处理。读取JSON并将其加载到SQL server中。有没有一种方法可以直接将JSON流式传
浏览 14提问于2017-01-24得票数 0
是否可以使用云函数将带有json输出的rest api中的数据直接插入/流式传输到gcp中的bigquery？做了一些研究，但它总是要求放在GCS存储桶中，然后创建云函数将数据加载到bigquery。 提前谢谢。
浏览 19提问于2020-06-25得票数 1
1回答
我正在使用DataFlow管道将来自物联网设备的数据(通过PubSub订阅)传输到BigQuery。我正在寻找一种方法，可以将给定设备中的数据动态地定向到我可以动态指定的BigQuery数据集中。这是一个典型的情况:用户决定“我想要开始将数据从物联网设备A流式传输到BigQuery数据集5”，然后再决定，“现在我要开始将数据从物联网设备A流式传输到BigQuery数据集7。”
浏览 12提问于2019-06-30得票数 0
回答已采纳
我想通过谷歌云函数PubSub跳跳器将MQTT传感器数据流式传输到Google BigQuery。不知何故，我无法导入BigQuery ...const BigQuery = require('@google-cloud/bigquery')；
谢谢
浏览 2提问于2018-10-22得票数 0
1回答
我将以下json插入到预先创建的BigQuery表中。here -- make sure it is setup correctly // Incoming data is in JSON','Date':'na'}"; const jsonData = <
浏览 3提问于2018-11-14得票数 3
我希望使用Google提供的模板将数据从Pubsub流式传输到Bigquery，尽管我希望以每秒1行的速度完成流式传输。如何更新流速度？如有任何建议，不胜感激。
浏览 3提问于2018-05-24得票数 0
然后使用GCP数据流将数据流式传输到BigQuery中。我正在使用Java进行数据流。目前，我正在将字符串格式的消息发送到PubSub (这里使用Python )。但是数据流中的模板只接受JSON消息。python库不允许我发布JSON消息。有没有人能给我一个建议，把JSON消息发布到PubSub，这样我
浏览 18提问于2018-02-21得票数 0
我希望持久化来自可公开访问的API的数据，该API在被调用时返回一个JSON对象列表，每个对象对应于过去N个事件中的一个。JSON对象的结构简单且一致。它看起来并不像BigQuery简单地接受RESTful应用程序接口作为流数据源。对于Cron来说，粒度似乎太细了，它通常最多是分钟级的(从判断，它也可能超过配额)。简单地将数据获取到Google Cloud Storage (例如，每个调用对应一个JSON文档)也是可以接受的；我可以编写一个流程(数据流或其他东西)来处理重复数据并将其摄取到BigQ
浏览 0提问于2018-06-16得票数 0
1回答
我关注的是通过GCD发布/订阅的物联网实时流处理，云数据流和通过BigQuery.I执行分析。我正在寻求如何实现这一点的帮助。
浏览 2提问于2017-06-15得票数 1
我正在使用以下代码将数据从App Engine流式传输到BigQuery。目前请求正在阻塞。有没有一种方法可以只使用apiclient (而不使用deferred库或类似的库)使这些请求异步？credentials = AppAssertionCredentials(scope = 'https://www.googleapis.com/auth/bigquery')
http = credentials.authorize(httplib2.H
浏览 0提问于2014-11-24得票数 4
我使用流式应用编程接口(BigQuery Python客户端的insert_row函数)将大约一百万个数据项插入到BigQuery中，但是有一些数据丢失，大约10,000个数据项在插入时丢失。有没有可能BigQuery会丢弃一些数据？因为没有任何插入错误(或任何错误)。
浏览 63提问于2018-12-03得票数 0
我已经设置了Firebase Analytics和BigQuery之间的链接。今天我不小心删除了昨天的数据行(tablename_20190926)。
浏览 34提问于2019-09-28得票数 0
我看了一些教程，能够建立一个管道并将其流式传输到BigQuery中，但我希望将其流式传输到一个完整的关系数据库(即: Cloud SQL)中。我的简单问题是，我可以直接将数据流式传输到Cloud SQL中，还是必须通过批处理发送。
干杯!
浏览 4提问于2018-02-02得票数 2
回答已采纳
在将一些json数据流式传输到BQ中之后，我们有一个如下所示的记录： "{\"Type\": \"Some_type\", \"Identification\": {\"Name\": \"First我尝试了https://cloud.google.com/bigquery/docs/reference/standard-sql/
浏览 8提问于2019-02-25得票数 4
回答已采纳
目前，我们将整个文件发送到云(Google Cloud Storage)，导入到BigQuery中，然后进行简单的下载/替换。然后，我需要将更改/删除的记录合并到BigQuery表中。
我们目前使用Node从存储迁移到BigQuery，并通过Composer使用Python在BigQuery中安排本机表更新。
浏览 0提问于2019-12-18得票数 0
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号