我正在解析XML并使用数据流管道写入Bigquery。如果在BigQuery中插入失败，如何处理错误？我想编写一个自定义代码，将失败的xml写入error bucket。
浏览 33提问于2019-03-23得票数 0
我创建了一个google流作业，从PubSub读取并插入到BigQuery中。我使用JSON将STREAMING_INSERT数据插入到BiqQuery表中。我正面临插入问题，说明请求的大小超过了10 Mb的允许限制。数据流错误如下所示。根据我的理解，每个记录的大小是1-2Mb，根据我的理解，数据流作业将流数据插入</e
浏览 6提问于2022-10-13得票数 0
回答已采纳
1回答
我正在为Java2.0.1-快照使用Java + Apache
问题是，管道正在尝试处理所有的数据，然后才执行插入。在本例中，有执行流插入的方法吗？--我已经尝试过在从BQ提取元素时设置一个时间戳，但是它没
浏览 5提问于2017-07-20得票数 1
我正在尝试使用DataFlow (Java)将数据从云存储插入到Big Query。我可以批量上传数据；但是，我想设置流式上传。因此，当新对象添加到我的存储桶中时，它们将被推送到BigQuery。我已经将PipelineOptions设置为流式传输，它在GCP Console UI中显示数据流管道是流式传输类型。存储桶中最初的一组文件/对象被推送到BigQuery。但是，当我向存储桶<em
浏览 47提问于2018-06-03得票数 3
回答已采纳
我目前在GCP中有一个管道，它使用云函数摄取数据，将其存入PubSub，在数据流中进行处理，最后将其插入到BigQuery中。我正在尝试计算平均消息从云函数摄取到BigQuery需要多长时间(包括插入时间)。
我了解Stackdriver指标/仪表板以及GCP的API仪表板。我很想简单地将每个服务的所有延迟值相加，但我不确定它是否涵盖了我无法控制的延迟值(例如，插
浏览 2提问于2019-11-21得票数 0
1回答
我想建立以下管道：数据是流的，但我想避免将数据直接流到BigQuery中，因此我希望在数据流机器中对小块进行批量处理，然后当它们达到一定的大小/时间时，将它们作为一个加载作业写入BQ中。我找不到任何示例说明如何使用(仅使用Java )来完成此操作
浏览 1提问于2019-07-04得票数 1
我有一个需求，我需要在Azure事件中心使用kafka主题。需要创建将使用作为参数提供的主题的POST端点。消息必须以kafka主题为属性，以消息内容为主体，在公共子主题上发送。
这是一个很高的要求。我看过以了解如何实现这一目标。但是，如果有人实时地实现了这一功能，即从Azure事件中心到google的事件，或者曾经进行过类似的实现，请提供帮助。
浏览 1提问于2021-06-03得票数 1
回答已采纳
目前，我有一个系统，希望通过Google函数将该系统中的数据发送到BigQuery (使用Python)。我的想法是分两个简单的步骤：
因为我想使用这个系统
浏览 5提问于2022-06-28得票数 0
回答已采纳
如何在流模式下将数据从AWS加载到Google BigQuery？描述:我有RDS ( Server)中的数据，并希望将这些数据实时加载到Google BigQuery中。
浏览 9提问于2020-02-18得票数 1
回答已采纳
我正在开发java代码，以便从GCS读取记录并插入到BQ表中，从成本和性能的角度来看，哪个BigqueryIO.write()或bigquery.insertAll()方法更好。
浏览 0提问于2019-03-05得票数 1
我的流式数据流管道从PubSub中提取数据，不会写出BigQuery，也不会记录任何错误。元素进入节点"Write to BigQuery/StreamingInserts/StreamingWriteTables/Reshuffle/GroupByKey"：“它是这样隐式创建的这应该是一个流作业--我如何让它刷新并写入数据？这是beam版本2.13.0。谢谢。更新-将数据写入<e
浏览 3提问于2019-07-31得票数 1
出于报告的目的，我正在考虑将我们的购物数据移动到BigQuery。我通过shopify API对customers端点进行分页，并获得所有客户级数据。然后我将其导出为csv，然后将其存储在google云存储上，然后导入到BigQuery。我的问题是，考虑到当前customer datamart上的一些条目(例如，总订单数)可能已经更改，并且自上次表更新以来可能已经创建了一些新客户，那么处理增量数据加载的最佳方法是什么。任何关于设计模式的</em
浏览 0提问于2021-03-06得票数 1
下面是我的输入文件的样子：{"Id": 2, "Address": {"City":"Id": 4}
{"Id": 5, "PhoneNumber": 12345678, "Address"
浏览 1提问于2018-02-21得票数 1
回答已采纳
我遵循datetime字符串2020-03-30T16:26:37-04:00，当我尝试在bigquery中插入它时(我将string对象作为json对象的一部分发送)，我会得到错误
这是从gcp-数据流管道插入到bigquery的。我使用的是apache-beam[gcp]
浏览 5提问于2020-03-30得票数 0
回答已采纳
2回答
数据是半结构化的(json数据) 我想把这个数据发送到Google Big Query，以便储存所有的信息。 但是，我不知道如何才能正确地做到这一点。到目前为止，我已经在自己的服务器上使用Node通过POST请求获取数据。 你能帮帮我吗？特纳克。
浏览 17提问于2019-10-15得票数 0
我有一个apache管道，它接收一些信息，将其格式化为TableRows，然后写入BigQuery。直到数据流作业完成后，才会将行写入BigQuery。如果我有一个需要很长时间的数据流作业，我希望能够看到插入到BigQuery中的行，谁能给我指明正确的方向？
提前感谢
浏览 0提问于2018-06-08得票数 1
2回答
我正在尝试用Dataflow创建一个流管道，它从PubSub主题中读取消息，最终将它们写入BigQuery表中。我不想使用任何数据流模板。目前，我只想在从Google实例执行的Python3脚本中创建一个管道，以执行来自Pubsub的每条消息的加载和转换过程(解析其中包含的记录并添加一个新字段)，最终将结果写入BigQuery表。那么记录的结构(字典中</
浏览 0提问于2019-11-14得票数 3
回答已采纳
从数据流sdk中的流管道获取BigQuery.IO.Write上的以下错误
org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl$DatasetServiceImpl.insertAll(BigQueryServicesImpl.java:759) org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesIm
浏览 1提问于2018-01-10得票数 0
回答已采纳
3回答
我们开始使用Dataflow从PubSub和Stream读取到BigQuery。数据流应该是24/7工作的，因为在世界各地的多个网站的分析数据不断更新。当我检查作业状态时，它不包含日志部分中的错误(您知道，那些标记为红色的错误！)在数据流的工作细节中)。如果我取消这份工作，然后再运行一次，它就会像往常一样重新开始工作。如果我检查Stac
浏览 2提问于2018-12-04得票数 3
云服务器
ICP备案
对象存储
云点播
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号