对于BigQuery批处理管道，模板只能执行一次，因为BigQuery作业ID是在创建模板时设置的。我正在使用Apache v2.0.0，无法多次执行该模板。我们可以使用beam at head来实现这一限制吗？如果是，我想知道的第一件事是什么是波束在头部？为了支持多次模板执行，我的Apache Beam程序需要做哪些确切的更改？
浏览 13提问于2017-08-09得票数 0
我有一个BigQuery表作为接收器的管道。在将数据写入BigQuery之后，我需要执行一些步骤。这些步骤包括对该表执行查询，从该表中读取数据并将其写入到另一个表中。我真的需要一些帮助。
谢谢。
浏览 2提问于2017-10-03得票数 2
我正在使用GCP日志资源管理器存储来自管道的日志消息。我需要通过查看来自特定事件的日志来调试问题。除了末尾的事件ID外，此错误的消息是相同的。因此，例如，错误消息是我知道我可以使用以下语法来构造一个查询，该查询将返回具有此特定消息结构的日志
resource.type="some_resource
浏览 8提问于2022-04-28得票数 1
回答已采纳
我正在使用以下命令创建一个gcloud日志接收器 gcloud logging sinks create $MONITORING_SINK bigquery.googleapis.com/projects/$PROJECTID/datasets/$PROJECT_MONITORING_DATASET_NAME --log-filter "resource.type=bigquery_resource jobservice.jobcompleted" 如果我要通过G
浏览 44提问于2020-01-30得票数 0
回答已采纳
这个问题的原因是，我们有大量的预定查询和传输，并希望知道其凭据正在使用的帐户。
我之前在上问过这个问题，并被鼓励在这里发帖。
浏览 0提问于2019-12-05得票数 0
FILTERmyapp2 bigquery.googleapis.comk8s_container" resource.labels.cluster_name="mygkecluster" res
浏览 0提问于2020-12-30得票数 0
我注意到，当您在Google Cloud平台中查询数据目录时，它会检索查询表的次数的统计数据：这是非常有用的信息，我想知道它实际存储在哪里，以及是否可以在项目或数据集中的所有表中检索它。同样，我在信息模式元数据中也看不到这些数据。
浏览 1提问于2020-01-22得票数 1
to GCS", TextIO.write().to("gs://fuckfile/Fuck/Result-0004")); 现在我的最后一个过程，我想添加类，它可以把我的json对象放到大的查询表中作为我的结果表
浏览 10提问于2019-12-09得票数 0
1回答
我试图在Datafusion.Can中实现type2，有人通过使用管道转换/动作/条件来帮助执行插入和更新来实现这一点。我试图使用Wrangler为源和目标生成散列，并将它们连接起来。我在这里受到了打击，不确定如何确定哪个去更新/插入，以及如何处理those.My目标是BigQuery表。
浏览 5提问于2020-02-17得票数 0
我有一个需求，我需要在Azure事件中心使用kafka主题。需要创建将使用作为参数提供的主题的POST端点。消息必须以kafka主题为属性，以消息内容为主体，在公共子主题上发送。
这是一个很高的要求。
浏览 1提问于2021-06-03得票数 1
回答已采纳
我使用的模板是：他们建议每个请求保留最多500行。
在哪里可以在Maximum rows per request接收器中配置BigQuery？
浏览 0提问于2018-04-17得票数 0
如何将BigQuery select语句结果转储到Google Cloud SQL数据库中。我知道的唯一方法是将结果转储到Google Cloud Storage，然后Cloud SQL可以从中读取。
浏览 3提问于2016-10-25得票数 0
当新数据被导入到BigQuery表中时，我希望触发一个云函数。理想情况下，我希望提取插入的所有行(其中一列是ISIN)。
这是可能的吗?怎么可能？
浏览 0提问于2019-02-20得票数 14
回答已采纳
我想设计一个数据仓库(Data )，其中包含一个事实表和二维表，其中数据集市考虑了一些缓慢变化的维度，并使用了代理键。数据将通过数据流从PubSub流流到BigQuery，因此一些维度数据可能会更早到达，需要在事实数据之前插入到维度表中。
浏览 14提问于2022-10-31得票数 0
我在google云上创建一个接收器，目标作为发布/子主题，用于它的命令如下所示。gcloud日志接收器创建geo_sinktest-log-filter‘( (protoPayload.methodName="storage.objects.create“”gcs_bucket“和resource.type= OR protoPayload.methodName="storage.objects.delete"))
浏览 0提问于2021-05-11得票数 0
回答已采纳
1回答
不幸的是，我们注意到数据在3分钟后到达BigQuery。
这个查询将在几秒钟内执行，但最后的结果是3分钟前。
浏览 0提问于2019-07-17得票数 0
我正在运行一个简单的UDF JavaScript映射程序，它映射JSON数据并将其导入BigQuery。我以前运行过其他UDF函数，从来没有遇到过这样的错误。有任何方法来调试数据流模板UDF错误(使用实际的调试器或至少使用console.log或类似的)吗？到目前为止，我已经尝试了所有的方法：
使用返回空JSON
浏览 0提问于2018-05-18得票数 1
此上下文的目标是实现集中日志存储。我希望跨不同项目的所有日志都存储在同一个项目下。我希望将日志发送到指定的日志桶或Pub/Sub主题。这能实现吗？
浏览 7提问于2022-08-17得票数 2
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号