我有一个Dataflow SQL作业，它将流PubSub与BigQuery表连接起来，并将结果写入BigQuery表。当我将一个新记录(新sales_region)添加到我的表'us_state_salesregions‘中时，新的sales_region在结果表中是不可见的。只有在创建新的数据流作业后，新添加的sal
浏览 8提问于2021-05-11得票数 0
我尝试使用Dataflow SQL UI创建Dataflow作业。我跟踪了，工作运行正常。我将数据源更改为BigQuery表。我的计划是：
这个错误意味着什么？谢谢你的帮忙!
浏览 2提问于2020-07-09得票数 0
回答已采纳
1回答
我们使用云函数来转换BigQuery中的数据：--所有的数据都在BigQuery中--为了转换数据，我们只在BigQuery中使用SQL查询--每个查询每天运行一次--我们最大的SQL查询运行大约2到3我们一开始尝试用Dataflow做同样的事情(BigQuery中的SQL查询)，但是：-启动数据流只需10到15分钟--这比我们的云函数要复杂得多
浏览 5提问于2020-06-19得票数 1
回答已采纳
1回答
我将开始研究从CSV和数据湖中获取到BigQuery的GCP数据，我正在寻求您的建议，我可以使用哪些技术或架构。
我是GCP的新手，但我对数据工程技术有很好的理解，因为我正在为认证做准备。我尝试使用转换成管道的数据流简单地加载BigQuery，然后调度器在特定的时间运行管道。我遇到的问题是如何将已处理的CSV文件移动到其他桶中？我可以调用函数来移动文件吗？
浏览 4提问于2022-10-21得票数 1
在浏览时，我看到了Dataflow SQL。它和beamSQL有什么不同吗？
浏览 12提问于2020-02-17得票数 1
回答已采纳
但是，当我通过SSH连接到数据流VM并运行docker ps时，我发现它引用的docker镜像与我们在模板中指定的镜像(绿色下划线)不同： ? /dataflow/streaming-beam-sql:latest", "description": "An Apache Beam streaming pipelinethe results to a BigQuer
浏览 17提问于2020-07-22得票数 2
回答已采纳
我想在数据流中使用运行一个简单的查询，但我找不到启用此选项的位置。我该怎么做呢？DataflowPipelineRunner.BatchBigQueryIOWrite/DataflowPipelineRunner.BatchBigQueryIONativeWrite failed., (7f29f1d9435d27bc): BigQuery
浏览 62提问于2016-07-20得票数 6
回答已采纳
我有一个BigQuery维度表(变化不大)和一个来自PubSub的流JSON数据。我想要做的是查询这个维度表，并通过连接来自PubSub的传入数据来丰富数据，然后将这些已连接的数据流写入另一个BigQuery表。由于我对Dataflow/Beam还不熟悉，而且这个概念对我来说还不太清楚(或者至少我很难开始编写代码)，所以我有几个问题：
浏览 11提问于2021-01-23得票数 2
回答已采纳
1回答
继我在谷歌中找到的之后，我尝试做一个示例设置，在pubsub中发布消息，并使用dataflow sql将其加载到bigquery表中。但是，当我创建数据流作业时，会出现以下错误：
启动SQL作业的无效/不受支持的参数:数据目录中的无效表规范:在为Pubsub主题创建TABLE.CREATE表中为Pubsub源指定的不受支持的模式必须至少包括“event_timestam
浏览 11提问于2022-07-07得票数 0
即使在我们当前的数据级别上，Cloud也开始有点紧张(部分原因是一个公认的糟糕的模式)。我们想转移到BigQuery，所以我的第一个步骤是第五个工作，它读取最终的Avro文件并输出到BigQuery，基本上与当前Cloud输出作业平行。根据"DateOfService“字段按日划分数据
我看到这样做的唯一方法是由customer和DateOfService创建单独的RDDs，并将它们分别写入适当的数据集和表分区。剩下的只是与<
浏览 0提问于2016-11-08得票数 0
我正在尝试设置一个数据流-SQL作业，以便在BigQUery中运行查询并将结果发布到PubSub主题。我没有使用数据流模板，我使用GCP的Dataflow SQL UI来编写查询和配置输出-即PubSub主题。 我要查询的表包含String、Date、Timestamp和Numeric类型。即使我没有选择数据类型为' NUMERIC‘的列，我仍然会在编辑器不支持的列类型NUMERIC中得到一个验证错误。 <
浏览 17提问于2020-05-02得票数 0
因此，我试图在BigQuery表上使用GCP模型，并且需要定期更新该模型，并针对新的数据集运行它。我使用Dataflow对数据进行预处理，并想知道是否也可以使用它来创建模型。当我尝试使用在BigQuery中测试的Create时，会弹出以下错误：
我是做错了什么，还是模型创建不支持Dataflow？
浏览 12提问于2022-01-12得票数 1
回答已采纳
我在BigQuery中有一个联邦源代码，它指向GCS中的一些CSV文件。当我尝试将联邦BigQuery表作为Dataflow管道的源读取时，它会引发以下错误：
1226 [main] ERROR com.google.cloud.dataflow.sdk.util.BigQueryTableRowIterator- Error reading from BigQuery table Federated_test_dataflow of data
浏览 5提问于2016-03-24得票数 4
回答已采纳
试图将Dataflow SQL用于流摄取：为实现这一目标，我们需要采取以下步骤：问题:假设我们丢失了Pubsub消息中的键，管道会将这些消息标记为堆栈驱动程序中的错误。如果模式验证失败，我们可以添加一些功能到表y 表
浏览 2提问于2020-08-11得票数 0
回答已采纳
2回答
我正在尝试将一个表从Sever导入到Bigquery。这个表有一个DATETIME列，我已经用映射了它。我正在使用Dataflow来使用默认模板(JDBC到Bigquery)来摄取表。但是Dataflow给出了以下错误：
Error message from worker: java.lang.ClassCastException: class java.sql.Timestampcannot be cast to class java.time.te
浏览 9提问于2022-11-03得票数 0
回答已采纳
1回答
我希望实现从我的AppEngine到Bigquery的pub/sub&Dataflow连接，因为我试图理解如何准确地定义它。我的问题是，我有一个每日表-- Bigquery上的新表，每天打开一次，当我试图设置数据流时，它只允许我选择一个表。
浏览 1提问于2020-04-09得票数 1
回答已采纳
1回答
我有几个表是由GCP DataFlow流媒体应用程序填充的，作为某些数据管道的一部分(它是DataFlow的事实在这里并不重要，除了它是在流模式下半定期填充的事实之外)。遵循BQ文档建议()，我打算以AVRO格式将当前表导出到GCS，然后基于新的向后兼容模式创建一个新表*，最后在覆盖原始表之前将AVRO导出加载到新表中。*我创建一个新表而不是重写同一个表的原因是，
浏览 0提问于2019-09-19得票数 1
2回答
我已经在BigQuery上存储了数兆字节的数据，我想要在它上执行大量的数据转换。
对如何处理这件事有什么想法吗？
浏览 7提问于2020-01-08得票数 0
回答已采纳
我正在提交一个数据流作业，该作业从BigQuery数据集和表中读取并写入。Dataflow作业似乎工作正常。在执行Dataflow作业期间，Dataflow UI告诉我，我可以通过使用BigQuery工具运行命令来检查bq导出作业的状态。当我运行该命令时，我会收到一条消息，表示我无权查看该状态。BigQuery error in show operation: Access Denied
浏览 1提问于2017-04-25得票数 0
回答已采纳
1回答
给定Pub/Sub主题，BigQuery使用语法支持流数据到表。Step1a: INT64c: INT64然后使用该命令创建数据流流作业，以便将每条
浏览 2提问于2020-10-30得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号