1回答
我有一个用python编写的apache光束管道，不管出于什么原因，它都有一个如下所示的流程。client = bigquery.Client()result2 = query_job2.result() SQL<em
浏览 9提问于2020-10-31得票数 2
2回答
我正在尝试在数据流作业中运行BigQuery API，以针对BigQuery执行自定义查询。我试着按照的指示去做。但每次运行作业时，我都会收到以下错误： "@timestamp":"2019-11-20T16:12:51.008Z", "pid":"40364"下面是添加的依
浏览 3提问于2019-11-21得票数 1
1回答
我正在构建一个基础架构，在这个基础架构中，我希望分别接收热数据和冷数据。对于热数据，我将我的数据写入Cloud Spanner，而对于冷数据，我希望将我的数据写入更持久的东西，如BigQuery。我正在使用来自流媒体服务的数据，但我想利用BigQuery的缓存机制-如果我经常将冷数据流式传输到BigQuery中
浏览 0提问于2020-08-07得票数 0
我有一个从PubSub订阅中读取的流管道。管道应用1小时的固定窗口，并在执行一些转换之后，例如GroupByKey，将数据写入BigQuery。我的问题是，如果我停止作业执行，当前窗口的数据不会写入BigQuery，这些数据会丢失，因为这些数据既不在订阅中也不在BigQuery中。
浏览 0提问于2015-07-30得票数 1
1回答
在我的管道中，我使用WriteToBigQuery，如下所示： 'thijs:thijsset.thijstable',
beam.io.WriteToBigQuery PTransform返回一个字典，其BigQueryWriteFn.FAILED_ROWS条目包含所有未写入的行的如何打印这个数据集并将其转换为pcollection，或者如何打印FAILED_ROW
浏览 0提问于2019-11-29得票数 4
回答已采纳
目前，我有一个系统，希望通过Google函数将该系统中的数据发送到BigQuery (使用Python)。我的想法是分两个简单的步骤：
因为我想使用这个系统
浏览 5提问于2022-06-28得票数 0
回答已采纳
我有一个用例，在这个用例中，在我的流管道上，需要在下游阶段使用前一阶段的状态。我想在下游阶段添加一个依赖项，以便在开始处理之前完成上游/依赖阶段。
在弗林克有可能吗？
浏览 3提问于2022-07-08得票数 0
1回答
我们有多个作业(用Java /Kotlin编写)，它们可以以两种不同的方式运行：
当从用户帐户运行数据流作业时，Dataflow在我们的大多数Dataflow用例中，我们在项目A中运行Dataflow作业，而在项目B中从BigQuery中读取数据流作业。现在，问题是，在这两种情况下，我们似乎都需要为默认<
浏览 0提问于2018-12-05得票数 3
有没有办法使用nodejs gcloud库或使用bq命令行在一个加载作业中将不同的数据上传到几个表中到bigquery？
浏览 14提问于2016-07-17得票数 1
回答已采纳
如何将数据从Twitter直接发送到Google Cloud数据存储。我想跳过首先下载到我的本地机器，然后上传到云上的步骤。它只运行一次。不是寻找完整的代码，而是任何有人可能从中学到的指针或教程。
浏览 0提问于2018-11-08得票数 1
2回答
实际上，对我的数据执行以下步骤：我知道Google函数的BigQueryα触发器，但我
不知道是不是一个好主意，从我看到的
浏览 0提问于2019-11-21得票数 2
回答已采纳
1回答
在我们的应用程序中，我们在数据流管道中使用PubsubIO从PubSub读取数据。下面是代码。table",
ParDo.of(new ReadRawdataFromBiqueryTable())); 但是，当我们在此管道中附加BigQuery读取时，由于BigQuery读取速度较慢，因为我们在ParDo中执行此操作，似乎在PubSub订阅服务器中实现了一些默认的流控制设置，因此我可以看到PubSub消息流速率非常
浏览 12提问于2020-03-25得票数 1
出于报告的目的，我正在考虑将我们的购物数据移动到BigQuery。我通过shopify API对customers端点进行分页，并获得所有客户级数据。然后我将其导出为csv，然后将其存储在google云存储上，然后导入到BigQuery。我的问题是，考虑到当前customer datamart上的一些条目(例如，总订单数)可能已经更改，并且自上次表更新以来可能已经创建了一些新客户，那么处理增量数据加载的最佳方法是什么
浏览 0提问于2021-03-06得票数 1
1回答
由于oozie是Hadoop平台的工作流引擎，它是否提高了MapReduce作业的DAG依赖项的执行性能？我的意思是，由于一个MapReduce作业的输出作为DAG中下一个MapReduce作业的输入，oozie是否提供了将中间结果存储在内存中从而节省I/O的机制？或者仅仅是一个工作流管理器，协调一系列依赖的MapRe
浏览 3提问于2013-11-01得票数 1
回答已采纳
我正在尝试测量数据流管道的持续时间，数据流管道从发布/订阅中提取消息并将其加载到BigQuery表中。我找不到如何在BigQuery表中获取行的最后修改时间，尽管有表的最后修改日期时间。谁知道如何将上次修改的日期时间设置为BigQuery表的行？
浏览 2提问于2018-11-07得票数 0
我们有一个从BigQuery读取的数据流管道。它正在试着读取10米的记录。一切看起来都很健康--没有错误，也没有警告。但是，当尝试从BigQuery中读取数据时，任务就会挂起。一些示例的作业ID
2015年-06-24_18_11_43-5648996119225591199目前的服务有什么问题吗？
浏览 5提问于2015-06-25得票数 1
回答已采纳
我的流式数据流管道从PubSub中提取数据，不会写出BigQuery，也不会记录任何错误。元素进入节点"Write to BigQuery/StreamingInserts/StreamingWriteTables/Reshuffle/GroupByKey"：“它是这样隐式创建的这应该是一个流作业--我如何让它刷新并写入数据？这是beam版本2.13.0。谢谢。更
浏览 3提问于2019-07-31得票数 1
BigQueryException =>println("Table truncation failed \n" + e.toString) }
2)在build.gradle中，我添加了依赖项implementation group: 'com.google.cloud', name: 'google-cloud-bigquery', version: '1.133.0'
3)在“星火作业”中，我还添加了作为<em
浏览 4提问于2021-06-24得票数 2
我已经设置了一个GCloud数据流管道，它使用来自Pub/Sub订阅的消息，将它们转换为表行，并将这些行写入相应的BigQuery表。表目的地是根据Pub/Sub消息的内容确定的，偶尔会导致表还不存在，必须先创建表的情况。为此，我使用create CREATE_IF_NEEDED，它工作得很好。但是，我注意到，如果在数据流作业仍在运行时手动删除BigQuery中新创建的<
浏览 1提问于2020-03-21得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号