我最近启动了一个数据流作业，从GCS加载数据，通过DLP的标识模板运行它，并将屏蔽的数据写入BigQuery。我找不到谷歌提供的用于批处理的模板，因此使用了流模板(参考：link)。我看到只有50%的行被写入目标BigQuery表。管道上有一天没有任何活动，即使它处于运行状态
浏览 30提问于2020-08-22得票数 0
我想创建beam数据流作业来从GCS加载数据到Bigquery，我将在GCS的不同文件夹中有100s的文件，可以在GCS的不同文件夹中加载文件，是否可以在beam代码中创建源数据集和表。我的最终目标是创建管道，将数据从GCS加载到Bigquery，谢谢。
浏览 10提问于2021-02-23得票数 0
回答已采纳
也许我是个糟糕的探索者，但我在文档中找不到答案，所以我只想在这里试试运气。我知道写GCS似乎不是原子的，在作业运行的过程中会产生部分输出分区。但是，我已经尝试过通过数据流将数据转储到BQ中，并且在作业声称成功之前，输
浏览 6提问于2016-08-05得票数 1
回答已采纳
需要存储在某个地方(bigquery?)在那里我可以请求并发送给用户。用户应该只能得到一个唯一的代码，这是事先没有使用的。提前感谢
浏览 4提问于2021-04-13得票数 0
回答已采纳
1回答
设计
、
我们需要您对以下场景的数据流设计提供指导。
需求:我们需要构建一个数据流作业来读取数据流MS数据库并写入Bigquery。我们需要数据流作业作为输入“表名列表”(源表和目标表名称)来读取和写入数据。问题:在每天的日程安排中，数据流是否可以将表列表(即50个表名)作为输入，并将数据从</
浏览 4提问于2021-12-13得票数 -1
我正在实现一个ETL作业，它将非分区的BigQuery表迁移到分区的表。为此，我使用了来自BigQuery的Storage。这将创建许多要从其中提取数据的会话。为了将BigQuery写入路由到正确的分区，我使用了File方法。由于30天的限制，流插入是不可行的。存储写API似乎是有限的，识别分区。
通过驻留到File方法，<em
浏览 4提问于2022-09-12得票数 1
我尝试了bq命令行工具，但它似乎无法直接将结果写入GCS。我能看到的唯一方法就是：
我正在寻找一种直接将结果写入GCS的方法。
浏览 4提问于2016-08-10得票数 2
回答已采纳
我使用从云存储中读取一个11.57GB的文件，并将它们写入谷歌BigQuery。花费了大约12分钟和30名工人。然后，我压缩了相同的文件(大小现在变为1.06GB)，然后再使用google从谷歌存储中读取它们，并将它们写入BigQuery。现在用了大约31分钟和同样的30名工人。除了第一个数据流作业中的输入文件被解压缩外，两个<
浏览 3提问于2016-08-06得票数 0
回答已采纳
实验1：我使用TextIO读取每天的压缩文件，应用简单的ParDo转换来准备TableRow对象，并使用BigQueryIO直接将它们写入BigQuery。因此，基本上有30对平行的不相连的源和汇被创造出来。但我发现，在任何时候，只有3个文件被读取、转换和写入BigQuery。所有这30个TextIO源都是并行读取的</
浏览 3提问于2016-08-16得票数 1
回答已采纳
从文档中看不清楚这一点，但看起来执行了流写入，这反过来又是？如果没有，那么将大行导入BigQuery的推荐工作流程是什么？我想我可以运行DataFlow ETL并使用Te
浏览 1提问于2015-04-14得票数 2
可以在Dataprep Job中读取表单Kafka或Google Pub/Sub吗？如果是这样的话，当在visual studio (减去购买或下载工具的能力)上编辑示例时(减去购买或下载工具的能力)，而调试生产流程(相同的“类型”数据“)是在这些工具(在我们最喜欢的IDE上编码Scala/Java )之外的任何工具上执行时，我应该期待什么”最佳实践“部署考虑因素？
浏览 1提问于2018-09-12得票数 0
自从开启自动伸缩以来，我们的一些云数据流作业已经开始失败。我在失败的作业中收到以下错误：这是此错误的作业id : 2016-01-26_12_02_19-127372689340916618772016-01-27_12_02_52-11776322710903149175
编辑:我关闭了自动缩放，今天早上运行的作业仍然运行得很慢。
浏览 2提问于2016-01-28得票数 1
我将处理数据和输出的性能与Bigquery表和文件进行了比较，差异是显著的：写入13个文件需要7分钟，写入13个bigquery表需要超过60分钟；
试着理解这是预期的结果，还是我做得不对？在写入bigquer
浏览 1提问于2015-04-17得票数 1
3回答
我正在查看数据流，以尝试将数据从Datastore导出到Spanner。扳手似乎只接受通过数据流连接器的avro文件。我能找到的唯一数据流模板是从数据存储到文本文件。并且数据存储区导出服务仅导出为levelDB格式。任何线索都会很有帮助，谢谢！
浏览 59提问于2019-05-03得票数 0
回答已采纳
我需要使用Dataflow从BigQuery表中提取数据，然后写到GCS。
数据流是使用apache (Java)构建的。数据流从BigQuery中提取出来，第一次完美地写入到GCS中。但是，当第二个数据流在第一个管道成功执行后从同一表中提取数据时，它并不是从Big Query中提取任何<em
浏览 0提问于2020-01-12得票数 1
回答已采纳
我正在寻找帮助设计一个用python编写的数据流管道，以读取存储在GCS上的多部分压缩Json文件，以加载到BigQuery。源无法为我们提供文件/表的架构。因此，我正在寻找一个自动检测选项。如下所示： autodetect=True,
source_format=bigquery.SourceFormat.NEWLINE_DELIMI
浏览 25提问于2021-02-17得票数 1
是否有任何Python模板/脚本(现有的或路线图)供数据流/光束从PubSub读取和写入BigQuery？根据GCP文档，这里只有一个Java模板..。 谢谢！
浏览 88提问于2021-02-21得票数 1
回答已采纳
是否有库/连接器可直接将存储在Google (GCS)中的文件导入到BigQuery？我已经成功地使用Spark作为中介编写了BigQuery表，但是我找不到--任何直接连接器或BigQuery库--如果不通过spark 进行转换就可以做到这一点。Update 1：我尝试使用正式的连接器，但是缺少关于如何指向BigQuery中的特定项目的文档，所以我只能将DeltaLake文件从G
浏览 3提问于2021-10-27得票数 2
回答已采纳
我的目标是构建一个基于BigQuery的安全解决方案。我使用由CMEK保护的BigQuery表。另外，我有一个数据流作业，它可以在表中写入数据。它用一个AEAD函数加密一些值。我用Tableau从BigQuery读取数据。并使用AEAD函数解密一些值。
我需要一种安全可靠的方法，用于与AEAD一起使用<
浏览 0提问于2020-10-17得票数 0
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
