2回答
我尝试在每个点上应用BigQuery read，并将结果合并到一个PCollection中，但我不知道如何将点传递到管道并动态构建它。
浏览 16提问于2019-01-27得票数 0
回答已采纳
events.apply("ConvertToTableRows", ParDo.of(new ProtoToTableRow())) .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_NEVER).withWriteDisposition(Big
浏览 1提问于2020-11-19得票数 2
1回答
我创建了测试来检查预期的TableRows是否在PCollection中，但是根据我提供的数据库模式，我如何验证将写入BQ的数据是正确的？tableRowPCollection.apply(BigQueryIO.Write.named("Write to table").to(options.getTableName())withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_TRUNCATE));
浏览 4提问于2017-04-29得票数 0
com.google.cloud.dataflow.sdk.values.PCollection.apply(PCollection.java:174)at com.google.cloud.dataflow.sdk.io.BigQueryIO$Write$Bound.apply(BigQueryIO.java:1440)
at com.google
浏览 1提问于2016-08-03得票数 1
回答已采纳
在ApacheBeam中，一旦有了一些PCollection输入，就可以完成但是，BigQueryIO.read()只能应用于管道实例，所以我的问题是，如何使BigQueryIO.read()等待其他DoFn完成或至少生成一个输出，是在不同的管道中放置BigQueryIO，还是在同一个管道内执行？
浏览 3提问于2022-08-09得票数 1
回答已采纳
目前，我的流水线正在使用动态目的地的bigquery进行流式插入。我想知道是否有一种方法可以对动态目的地执行批量插入操作。and make event table row", new BigQueryIO.writeTableRows
浏览 3提问于2018-06-14得票数 2
我可以通过bq load很容易地实现这一点，但我想使用数据流作业来实现。因此，我使用数据流的管道和ParDo转换器(返回TableRow以将其应用于BigQueryIO)，并为转换创建了StringToRowConverter()。
浏览 4提问于2017-08-18得票数 13
回答已采纳
在我们的数据流管道(streaming管道，batch load We --我们正在使用批处理以实现成本效益的目的)中，我们一直面临着一个热点问题：关键是数据的目标表规范。我们已经阅读了谷歌提供的，但仍然不确定如何修复它。
雷基。似乎不适用于我们的情况，因为关键是目标表规范。这一步，我们使用BigQueryIO写到BigQuery。键来自根据当前窗口或当前值动态</em
浏览 6提问于2022-01-06得票数 0
这意味着我需要动态形成查询，然后将其传递给BigQueryIO.Read.fromQuery()函数。RequestUsageQuery") .apply(BigQueryIO.Read.namedBillDailyRequestUsage")
.of(new DailyRequestsBillDoFn(mForDa
浏览 4提问于2017-01-31得票数 0
我想知道是否有人使用Python实现了流apache_beam作业的自动表创建和模式更改。
浏览 12提问于2022-09-27得票数 0
" .withTemplateCompatibility().from("<your-table>")这个实现似乎给BigQueryIO读取操作带来了巨大的性能代价，我现在有了批处理管道解决方案:基于jkff的输入的。 .apply("Re
浏览 3提问于2017-12-11得票数 4
回答已采纳
基本上，我的用例是，我试图使Write_Append和Write_Truncate变得动态。我从我在BigQuery中维护的配置表中获取信息(追加/截断)。)
results.get(append).apply("append",BigQueryIO.writeTableRows(
浏览 1提问于2017-10-18得票数 0
apply("Reading xxyyzz",
BigQueryIO.read(new
浏览 1提问于2019-05-23得票数 1
回答已采纳
我试图处理我的数据流作业试图动态写入BigQuery表目的地的错误。
浏览 1提问于2020-03-03得票数 1
创建一个SCollection[TableName, PCollection[TableRow]]，然后使用BigQueryIO.Write将每个PCollection[TableRow]保存到各自的BigQuery
浏览 0提问于2017-06-19得票数 0
1回答
我从文档和中都了解到，可以动态确定表目的。.; return ...;}).withSchema(...));The method to(String) in the type BigQueryIO.Write编辑以澄清我在本例中是如何使用
浏览 0提问于2017-05-31得票数 0
1回答
我希望表名、项目id和数据集id是动态的。
input.apply(BigQueryIO.Write.to(getTableReference
浏览 0提问于2018-07-15得票数 0
对于我的一个DataFlow作业，我有以下错误：
com.google.api.gax.rpc.PermissionDeniedException: 2022-06-15T16:12:27.365182607Z来自工作人员的错误消息: java.lang.RuntimeException: org.apache.beam.sdk.util.UserCodeException: java.lang.RuntimeException: java.lang.RuntimeException: PERMISSION_DENIED: BigQuery存储API以前未在项目770406736630中使用，
浏览 16提问于2022-06-15得票数 0
如何确保下面R->W->R->W的顺序？我相信下面的代码运行起来就像一个并行管道，R->W。我不确定是否要使用PDone对象来实现。BIGQUERYVIEWB是由TESTDATASET1.TABLE2和其他几个表形成的大查询视图)PCollection<TableRow> tr = pipeline.apply(BigQueryIO.readTableRowsusingStandardSql());
PCollection<TableRow> tr1=
浏览 3提问于2018-10-03得票数 0
TableRow>> { public PCollection<TableRow> expand(PCollection<Long> input) { .fromQuery("select * from project.dataset.table由于BigQueryIO.Typed
浏览 72提问于2020-09-14得票数 0
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号