如何在数据流中设置从BigQuery写入云存储时的文件大小而不是分片数量

文章/答案/技术大牛

发布

1回答

java、google-bigquery、google-cloud-storage、google-cloud-dataflow

当前使用数据流从BigQuery读入表数据，并写入固定数量分片的云硬盘。outputFile) .withSuffix(".csv") .withNumShards(numShards)); 为了管理文件大小，我们估计了将文件保持在一定大小下所需的总分片数。有没有办法不<em

浏览 14提问于2019-09-19得票数 1

回答已采纳

1回答

从Google云存储到Big Query的流式数据流

google-cloud-platform、google-bigquery、google-cloud-storage、google-cloud-dataflow

我正在尝试使用DataFlow (Java)将数据从云存储插入到Big Query。我可以批量上传数据；但是，我想设置流式上传。因此，当新对象添加到我的存储桶中时，它们将被推送到BigQuery。我已经将PipelineOptions设置为流式传输，它在GCP Console UI中显示数据流管道是流式传输类型。存储桶中最初的一组文件/

浏览 47提问于2018-06-03得票数 3

回答已采纳

1回答

使用google数据流读取保存在google存储中的vis普通文本文件的压缩文件时，性能相对较差。

google-cloud-storage、google-cloud-dataflow

我使用从云存储中读取一个11.57GB的文件，并将它们写入谷歌BigQuery。花费了大约12分钟和30名工人。然后，我压缩了相同的文件(大小现在变为1.06GB)，然后再使用google从谷歌存储中读取它们，并将它们写入BigQuery。现在用了大约31分钟和同样的30名工人。除了第一个数据流作业中的

浏览 3提问于2016-08-06得票数 0

回答已采纳

3回答

自动将Google存储文件导入Google表

mysql、google-cloud-platform、automation、google-cloud-storage、google-cloud-sql

目前，我在GCS桶中有一个CSV，它每天都由Google托管的管道进行更新。我使用这个CSV通过特性在MySQL数据库中填充一个表，没有问题。我想要做的是每天在指定的时间运行这个导入程序来更新表数据，因为我的管道将更新我的CSV。我看不出有什么UI特性可以这样做，也不知道如果不这样做，最好的方法是什么。与其说我是一个SWE，不如说我是一个数据分析员，所以试图破译像云运行这样的功能有

浏览 6提问于2021-05-04得票数 0

回答已采纳

1回答

使用BigQuery多个通配符URI导出数据

google-bigquery

正在尝试将BigQuery中的表数据导出到在Google Cloud Storage中创建的存储桶。当我使用单个通配符URI将BigQuery中的表导出到GCS时，它会自动将表分成多个分片文件(每个文件大约368MB)，并放入GCS中的指定存储桶中。下面是命令： bq --nosync extract --de

浏览 2提问于2017-10-11得票数 0

3回答

无法写入bigquery* -权限被拒绝: Google*

python、google-bigquery、google-cloud-dataflow、apache-beam

我使用使用google云数据流服务已经有一段时间了。数据流管道 apache_beam.runners.dataflow.data

浏览 0提问于2018-05-07得票数 4

2回答

流缓冲区- Google BigQuery

python、google-bigquery、google-cloud-dataflow

我正在做的是用BigQuery从PubSub编写数据： p = beam.Pipeline#<Transformation code if needed> | 'String To BigQuery Row' >> beam.Map(lambdas: dict(Trama=s)) | '

浏览 0提问于2018-11-05得票数 0

回答已采纳

1回答

我如何在谷歌BigQuery上操作输入的分析数据，然后才能在DataStudio上阅读？

google-cloud-platform、google-analytics、google-bigquery、google-cloud-functions、google-data-studio

我是Google基础设施的新手。我有和链接到BigQuery。我需要对数据执行一些操作，然后从DataStudio读取转换后的数据以生成仪表板。根据插入日期设置一个具有每日粒度的表分区，根据插入日期( things:Setup )之一运行一次调度查询，每24小时运行一次，从新分区读取数据，转换数据，将其复制到表中，格式化后的</e

浏览 1提问于2022-03-23得票数 0

回答已采纳

1回答

基于sk-学习模型的大查询预测

machine-learning、google-cloud-platform、gcp-ai-platform-notebook

我在我的本地机器上创建了一个滑雪板模型。然后我就把它上传到google存储上了。我已经创建了一个模型和版本在人工智能平台上使用相同的模型。它正在为在线预测工作。现在，我希望执行批处理预测，并将数据存储到大查询中，比如每次执行预测时它都会更新大查询表。有人能建议我怎么做吗？

浏览 1提问于2019-07-15得票数 0

回答已采纳

2回答

对于数据流，BigqueryIO.write()和bigquery.insertAll()方法哪个更好

google-cloud-platform、google-bigquery、google-cloud-dataflow、dataflow

我正在开发java代码，以便从GCS读取记录并插入到BQ表中，从成本和性能的角度来看，哪个BigqueryIO.write()或bigquery.insertAll()方法更好。

浏览 0提问于2019-03-05得票数 1

2回答

数据代表正在离开BigQuery中的数据集/表

google-bigquery、google-cloud-dataflow、google-cloud-dataprep

我使用来处理存储在BigQuery中的数据。我在dataprep/dataflow创建一个名为"temp_dataset_beam_job_“的新数据集时遇到了问题这在过去并<

浏览 4提问于2020-05-07得票数 2

回答已采纳

2回答

更改谷歌云数据流BigQuery优先级

google-bigquery、google-cloud-dataflow、apache-beam

我有一个运行在从BigQuery读取数据的谷歌云DataFlow上的Beam作业。当我运行作业时，作业需要几分钟时间才能开始从(微型)表中读取数据。结果是数据流作业发送的是以批处理模式运行而不是以交互模式运行的BigQuery作业。如何将其切换为在Apache光束中立即运行？我在API中找不到

浏览 2提问于2017-05-26得票数 1

2回答

使用云函数(从google云存储到bigquery* )实现批处理自动化--缺少一些东西*

google-cloud-platform、google-bigquery、google-cloud-functions、google-cloud-storage、google-cloud-dataflow

我想要实现的：每次我上传一个文件到云存储，它将自动被写入BigQuery。但是他们不一起工作。如何让云函数触发来激活数据流部分？这是一个脚本，还是只是一些设置，我错过了？缺少一些东西把它们连接起来。我对此比较陌生，我一直在

浏览 7提问于2021-03-03得票数 0

回答已采纳

2回答

当将记录写入Google数据存储时，Google Dataflow模板作业不缩放

google-cloud-platform、google-cloud-datastore、performance-testing、scalability、throughput

我有一个使用数据流模板从云函数触发的小数据流作业。作业基本上是从Bigquery中的一个表中读取，将生成的Tablerow转换为键值，并将键值写入Datastore。Entity entity= builder.build(); }当我试图处理的

浏览 0提问于2018-05-02得票数 0

回答已采纳

1回答

如何使用BigQuery存储读取API定义Apache Beam中的最大流数

google-cloud-platform、google-bigquery、google-cloud-dataflow、apache-beam

我想从BigQuery中读取数据并将其发布到Pubsub。为此，我想使用Apache光束，并在数据流中运行此管道。而且我的BQ查询需要很长时间才能执行。因此，希望使用BigQuery的Storage Read API来减少这一时间，该API支持使用流读取数据。尽管Beam支持使用存储API，但我找不到设置最大流数的文档。谁能帮助我如何设置从<em

浏览 25提问于2021-05-02得票数 0

2回答

用于实现高可用性的碎片/副本设置

elasticsearch、cluster-computing

可以在任何时候执行完整的重新索引。系统的查询非常繁重，写入的量很小。文档的数量不会高于，比如说，300.000。每个文档的大小差异很大，从几个ids到从word-几页文档中提取的文本。写入一致性应该不是问题，因为数据的主副本在数据库中，而且ES似乎能够通过使用最新版本来解决冲突数据(在我们的情况下应该没问题)

浏览 0提问于2013-06-20得票数 2

1回答

正在尝试在美国中央1区域运行数据流作业，但源和目标在亚洲-南部1

google-bigquery、google-cloud-functions、google-cloud-dataflow

我想检查一下在文章"“中也提到的类似错误。2021-03-10T06:02:26.115216545ZWorkflow failed.asia-south1, error: Cannot read and write in different locations: source: US, destination: asia-south1 这是我尝试使用云函数触发器运行代码时出现的错误由于一

浏览 12提问于2021-03-12得票数 0

回答已采纳

1回答

当有多个源时，Google不能同时读取超过3个输入压缩文件

google-bigquery、google-cloud-storage、google-cloud-platform、google-cloud-dataflow

背景：我有30天的数据存储在谷歌存储的30个单独的压缩文件。我必须将它们写到同一个表中30个不同分区的BigQuery表中。每个压缩文件大小约为750 was。Google的ParDo转换和BigQuery写入速度在任何时候都在6000到8000元素/秒之间。因此，在任何时候，在30个源和汇中只有3个

浏览 3提问于2016-08-16得票数 1

回答已采纳

1回答

将数据从云存储流式传输到BigQuery

google-bigquery

我正在尝试找出将数据从云存储加载到BigQuery的最有效的方法。BigQuery表中。我已经研究了以下替代方案:1.bq load -在压缩数据上有4 4GB的限制2.拆分数据，转换为pandas dataframe，转换为json，加载到bq -这需要拆分，考虑到我必须上传的数据集的数量，以及它们都有不同的行大小，我希望避免拆分，所以自动化手

浏览 1提问于2016-04-19得票数 0

1回答

导出到Bigquery的数据流: insertAll错误，无效的表引用

google-bigquery、google-cloud-dataflow、google-cloud-pubsub

我正在尝试使用数据流、发布/订阅和BigQuery来创建和导出合成数据流。流似乎运行正常-我可以使用“导出到云存储”模板从相应的发布/订阅主题导出到GCS存储桶。当我尝试使用“导出到BigQuery”模板时，我一直收到这个错误： Request failed with code 400, performed 0 retries due to IOExceptions在开始导出作业

浏览 2提问于2020-10-27得票数 2

回答已采纳

点击加载更多