我目前正在使用BigQuery的stream选项将数据加载到表中。但是，具有日期分区的表不会显示任何分区...我意识到这是流的影响。我使用的Python代码： bigquery_client = bigquery.Client() table = dataset.table(table_name)
浏览 9提问于2016-12-30得票数 1
回答已采纳
我希望使用数据流将数据加载到使用的BigQuery表中，而不是流式处理(对于我们的用例，流式处理的成本太高)。我看到Dataflow SDK内置了对通过BQ流插入数据的支持，但我在Dataflow SDK中找不到任何开箱即用的支持加载作业的功能。以下是一些问题：2)如果我需要自己滚动
浏览 0提问于2015-06-17得票数 3
1回答
有没有办法使用流式插入将AVRO格式的数据插入到BigQuery中？如果是，我们使用的是，但似乎不支持。仅支持json类型。我是不是遗漏了什么？有没有一种方法可以使用流式插入插入AVRO格式的数据，你能链接我到任何示例吗？如果无法使用流式插入插入<
浏览 14提问于2017-01-31得票数 2
回答已采纳
是否可以配置非流BigQuery写入，以支持更大(1MB)的行大小？我的DataFlow作业是批处理作业，而不是流作业，BigQuery流不是必需的，在本例中也不需要，因为它限制了我导入数据。如果没有，那么将大行导入BigQuery的推荐工作流程是什么？
浏览 1提问于2015-04-14得票数 2
我正在开发java代码，以便从GCS读取记录并插入到BQ表中，从成本和性能的角度来看，哪个BigqueryIO.write()或bigquery.insertAll()方法更好。
浏览 0提问于2019-03-05得票数 1
正在尝试在云数据流作业中启用流式处理，该作业需要从一个BigQuery表中读取数据，然后使用附加模式将其写入另一个BigQuery表。<TableRow>into(FixedWindows.of(Duration.standardMinutes(1))));
最后使用BigQueryIO(如下代码)将数据写入BigQuery表。但是，如果您在第一个表中插入新数据，则第二个表不会得到反映。作业似乎已完成，状态为成功，但<em
浏览 0提问于2019-03-06得票数 0
2回答
我有一个应用程序，从API发送数据给我。数据是半结构化的(json数据) 我想把这个数据发送到Google Big Query，以便储存所有的信息。 但是，我不知道如何才能正确地做到这一点。 到目前为止，我已经在自己的服务器上使用Node通过POST请求获取数据。 你能帮帮我吗？特纳克。
浏览 17提问于2019-10-15得票数 0
1回答
为了保持列的唯一性，我的几个客户将数据流式传输到BQ中的临时表(如果不存在于主表中，则重试2次，间隔10分钟)，并使用另一个cron作业每隔几分钟将临时表合并到一个列分区表中。如果临时表被合并到主表中，我需要截断它，但似乎我的客户端一直都在流式传输数据。这里有什么推荐吗？
浏览 2提问于2018-07-22得票数 1
如果从PubSub接收的事件/行中的字段不是目标BigQuery表中的列，则DataFlow作业会在运行时记录IOExceptions，声明它无法插入行，但似乎会确认这些消息并继续运行。至少，我希望确保那些无法插入到BigQuery中的发布/订阅消息不会被确认，这样我就可以修复问题，重新启动数据流作业，并再次使用这些消息。我知道这里描述了一个用于处理错误输入的建议解决方案：
我还知道Apache Beam上的这个PR，它允许
浏览 5提问于2017-06-10得票数 5
回答已采纳
2回答
以前，我有PCollection formattedResults；，我使用以下代码在大型查询中插入行：PCollection<TableRow.withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_APPEND));PCollection<KV<String, Iterable<TableRo
浏览 3提问于2016-08-05得票数 0
1回答
因此，我们每天都会将1440个作业附加到GCP设置的略低于1500日限制的大型查询表中。如果我们有更多的设备，这种方法肯定会失败。有没有人有实时监控传感器和在云中存储数据的经验？你用的是什么工具？
浏览 2提问于2021-12-21得票数 0
回答已采纳
我有一个apache管道，它接收一些信息，将其格式化为TableRows，然后写入BigQuery。直到数据流作业完成后，才会将行写入BigQuery。如果我有一个需要很长时间的数据流作业，我希望能够看到插入到BigQuery中的行，谁能给我指明正确的方向？
提前感谢
浏览 0提问于2018-06-08得票数 1
我想使用pubsub将数据插入到bigquery表中。数据已经处理过了，所以我不需要数据流。我该怎么做呢？提前感谢
浏览 0提问于2018-07-03得票数 2
我有一个BigQuery表，我想通过writeDisposition WRITE_TRUNCATE使用一个作业，用它的行子集覆盖这个表。假设在作业运行时，我同时尝试将行流式传输到表中。是否可以在作业运行时插入行，从而在作业完成时覆盖行？或者，是否有一种锁定机制可以防止在作业完成之前插入行？
浏览 6提问于2016-07-13得票数 3
回答已采纳
我正在尝试使用类似于教程的Java驱动程序将数据流式传输到BigQuery，该教程将数据从地图插入到BigQuery表中。支持在插入时将行指定为JSON，所以我想知道是否可以使用JSON驱动程序将JSON流式传输到bigquery，而不必使用如下示例所示的映射。;InsertAllResponse response = bigqu
浏览 6提问于2017-08-01得票数 0
回答已采纳
1回答
我正在使用Apache Beam从PubSub读取消息，并将它们写入BigQuery。我正在尝试做的是根据输入中的信息写入多个表。为了减少写操作，我对来自PubSub的输入使用了窗口。
浏览 0提问于2019-12-21得票数 0
我有一个App Engine调度作业，它每天运行，并在PostgreSQL表(托管在gcp中，而不是cloudsql中)中查找满足归档条件的行。如果满足条件，它将连接到BigQuery并将数据流式传输到大型查询。每天，有资格归档的记录很少，我们会写信给BigQuery。这是一种经济有效的方法吗?https://cloud.google.com/solutions/performing-etl-from-relational-database-int
浏览 10提问于2020-01-31得票数 0
1回答
我正面临一个奇怪的问题，一个小的增量任务，它是我在一个流BigQuery表上用Apache光束实现的。我正在将数据流式传输到BigQuery表中，并且每小时我都会运行一个作业，将该流式传输表中的任何新记录复制到一个协调表中。增量是建立在我在流表中介绍的CreateDatetime列之上的。因此，增量自然会获取到批处理运行的当前时间之前CreateDatetime比上次更新的所有记录。当我检查时间戳时，我发现它们远离批处理运行，当我检查Google Datflow日志时，
浏览 0提问于2017-10-09得票数 0
我的工作流程将运行多个作业，所有这些作业都将尝试将数据插入到同一个表中，可能是同时进行的。集中精力只写部分(而不是阅读部分)。
浏览 3提问于2021-01-07得票数 0
我们正在尝试将数据存储实体更新作为流输入推送到BigQuery，以提供实时数据分析。
数据存储中的每个实体将在一天内多次更新。当我们推送实体时，我需要确保bigquery记录中只有最新的数据。
浏览 3提问于2018-07-23得票数 2
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号