从BigQuery查询和使用云存储的结果加载文件的成本有什么不同？

文章/答案/技术大牛

发布

1回答

google-cloud-platform、google-bigquery、google-cloud-storage

我们可以使用预定义的方法-> see docs从Google BigQuery中查询任何语言的结果。或者，我们也可以查询结果并将其存储到云存储中，例如在.csv -> see docs on storing data to GCS中当我们反复需要提取相同的数据时，例如每天100次，那么将数据缓存到云存储并从

浏览 28提问于2019-12-13得票数 0

1回答

谷歌BigQuery和谷歌云存储之间是否共享文件？

google-bigquery、google-cloud-storage

我已经通过从谷歌云存储加载CSV文件创建了一个BigQuery表。在这种情况下，BigQuery表是引用云存储中的CSV文件，还是将数据复制到自己的存储中？

浏览 7提问于2016-07-26得票数 2

回答已采纳

1回答

使用大查询或大表查询聚合值的用例？

google-bigquery、bigtable、google-cloud-bigtable

我用它来设计30 TB文本文件的存储，作为在Google云上部署数据管道的一部分。我的输入数据是CSV格式，我希望尽量减少为多个用户查询聚合值的成本，这些用户将使用多个引擎在云存储中查询数据。使用云存储进行存储，并链接大查询中的永久表以进行查询</e

浏览 0提问于2019-01-24得票数 0

回答已采纳

1回答

从BigQuery* (联邦/外部查询)查询不同GCS存储类中的文件/数据需要花费多少？*

google-bigquery、google-cloud-storage

我有两个GCS桶与相同的，切分的CSV文件。桶联邦-查询-标准有standard的存储类.桶联邦-查询存档有archive的存储类。在存储桶上使用联邦/外部源运行相同的查询会产生相同的字节数，即57.13GB的数据量。性能(查询时间)大致相同。根据

浏览 1提问于2020-06-23得票数 3

回答已采纳

0回答

Google云存储/大查询成本估算

python、google-bigquery、google-cloud-platform、google-cloud-storage

我正在尝试估算我的Google Cloud计划的每月总成本。假设我有一个50 GB大小的文

浏览 5提问于2017-06-14得票数 2

回答已采纳

2回答

Bigquery如何使用存储在google云中的数据？

google-bigquery、google-cloud-platform、google-cloud-storage

伙计们有一个非常基本的问题，但不能破译，请帮帮我。 gs://sp2040/raw/cards/cust/20170101/20170101_cust.csv Q2:假设我的数据主管是gs://s

浏览 3提问于2017-10-05得票数 0

回答已采纳

1回答

在加载到Bigquery之前自动ETL数据

google-bigquery、google-cloud-functions、google-cloud-storage、google-cloud-dataflow

我将CSV文件添加到GCS存储桶中，每天或每周，每个文件名都包含(日期+特定参数)我们尝试了云函数(我们可以从文件名中获取日期和</

浏览 0提问于2020-12-15得票数 0

2回答

将没有外部ip的虚拟机实例的数据加载到大查询

mysql、google-cloud-platform、google-bigquery、google-compute-engine、google-workflows

我的目标是从vm实例连接和加载数据到大查询(这个实例安装了maria db服务器)。我可以在我的终端上使用以下命令使用tcp ip转发访问数据库(出于安全原因，没有外部ip的实例)：然后我打开mysql工作台输入用户root和密码，然后数据库显示，做查询

浏览 28提问于2020-12-17得票数 0

1回答

将批处理CSV文件从云存储加载到BigQuery并附加在同一表上

google-bigquery、google-cloud-storage

我是GCP的新手，最近在上创建了一个桶。原始文件每小时以CSV格式在GCS桶上转储。我希望将所有CSV文件从云存储加载到BigQuery，并且将有一个调度选项从Cloud加载最近的文件，并将数据附加到BigQuery上的同一个表中。请帮我设置一下这个。

浏览 5提问于2022-01-17得票数 -1

2回答

云SQL转BigQuery的成本

google-cloud-platform、google-bigquery、google-cloud-sql

我有一个Cloud SQL数据库(作为PostreSQL)，我想向BigQuery传输一份副本。这代表了1TB的数据(使用云SQL存储)，超过100个表。我想估算一下这种一次性的大数据传输的成本。当我阅读BigQuery和Cloud SQL定价的GCP文档时，我得到的印象是这是免费的: BigQuery导入是免费的</

浏览 2提问于2020-12-12得票数 0

4回答

从s3加载数据的经济高效的BigQuery

amazon-s3、google-cloud-platform、google-bigquery

我每天都需要加载到BigQuery的分区表中，在s3中创建了(2 TB)大小为20k的文件。文件每5分钟滚动一次。将数据传输到BigQuery的最经济高效的方法是什么？我正在寻找在亚马逊网络服务s3到GCP网络出口和实际数据加载的成本优化。

浏览 1提问于2019-12-19得票数 0

3回答

数据将由BigQuery存储的地方

google-bigquery、google-cloud-storage、google-cloud-dataflow

我使用BigQueryIO从Google作业将数据发布到BigQuery中。 BigQuery可以用来查询来自、Google和Google的数据。但是当我们使用BigQueryIO存储数据时，数据将存储在哪里呢？它在中吗？

浏览 5提问于2017-04-05得票数 0

回答已采纳

1回答

联合BigQuery成本和性能优化

google-cloud-platform、google-bigquery、google-cloud-sql

我正在编写一个调度的联邦查询，以便每天加载我的BiqQuery表。BigQuery表加载策略是重写。我的源是一个云SQL数据库(mysql实例)。我想知道从性能和成本优化的角度来看，从长远来看，加载我的BigQuery表的正确方法是什么？我是应该每天使用源数据覆盖我的

浏览 0提问于2020-05-13得票数 1

2回答

GCP BigQuery显示“此脚本在运行时将处理2TB”，用于“限制10”的简单查询。

google-cloud-platform、google-bigquery

当我在GCP BigQuery中为大型分区表选择查询时，我还没有点击"Run“按钮，它告诉我”这个脚本在运行时将处理2TB。“ 我不知道为什么“限制10”查询仍有这么大的成本。

浏览 8提问于2022-04-05得票数 0

回答已采纳

2回答

可以在亚马逊网络服务S3上的拼图文件上编写/运行BigQuery吗？

google-bigquery

我们想要检查外部商店拼图文件的BigQuery性能。这些拼图文件存储在亚马逊网络服务的S3上。在不传输文件到GCP的情况下，可以编写可以在亚马逊网络服务S3存储的拼花面板文件数据集上运行的BigQuery。

浏览 0提问于2020-03-03得票数 0

1回答

将文本文件(.txt)加载到bigquery表的最佳方法

google-bigquery

对于如何最好地将文本文件上传到bigquery表，有人有任何实用的想法吗？我需要从远程SFTP服务器下载一些压缩文本文件，并将其加载到bigquery表中。我应该把它下载到google云存储中并从那里上传到bigquery以获得更快的速度吗？文本文件每个大约5GB，并将进一步增长。谢谢。

浏览 2提问于2020-01-23得票数 0

回答已采纳

1回答

使用云函数(替代函数？)从云存储将数据加载到BigQuery中。

google-cloud-platform、google-bigquery、google-cloud-storage、google-cloud-functions、etl

我目前正在使用云函数将数据从云存储中的csv文件加载到BigQuery。我还能用什么代替云函数来实现这个功能呢？需要在文件放入云<em

浏览 2提问于2019-04-13得票数 1

回答已采纳

1回答

谷歌数据流实例和BigQuery成本考虑

google-bigquery、google-cloud-dataflow、apache-beam

我计划在google云平台上启动一个数据流实例来运行一些实验。我想要熟悉并尝试使用apache store从BigQuery中拉取数据，运行一些ETL作业(在python中)和流式作业，最后将结果存储在BigQuery中。然而，我也担心将我公司的GCP账单送到屋顶上。主要的成本考虑因素是什么，或者估计成本的方法是什么，所以我不会

浏览 2提问于2019-08-24得票数 0

1回答

每天将数据从大查询加载到Postgre云sql数据库

google-cloud-platform、google-bigquery、google-cloud-sql

我有一些表要从大查询加载到数据库。我需要每天都这样做，并在云sql中创建一些存储过程。每天从大型查询加载表到云sql的最佳方法是什么？传输数据和将云sql保持在24/7上的成本意味着什么？感谢你的帮助。谢谢你，J。

浏览 4提问于2021-06-09得票数 1

回答已采纳

1回答

BigQuery的数据传输服务

google-bigquery

Google BigQuery的数据传输服务可以使用多个云存储位置作为数据摄取到BigQuery的源目的地吗？ BQ对来自GCS的数据摄取的收费方式与任何其他云源有什么不同吗？数据传输服务的文档中提到，从2017年6月1日起，BQ将收取数据传输服务的月费？我们有关于成本模型的

浏览 1提问于2017-05-16得票数 0

点击加载更多