如何使用BigQuery命令行工具执行一次性S3数据传输？

文章/答案/技术大牛

发布

1回答

google-bigquery

如果您使用控制台，从S3 to BigQuery传输可以正常工作。在命令行上，我也让一切正常工作，只有一个参数我找不到如何配置。然而，在命令行中，我找不到将传输设置为"on demand“的方法。您知道我需要传递哪个参数才能将其设置为随需应变吗？它自动设置每24小时一次的计划。transfer_config \--display_name="my_transfer" \ --params=

浏览 24提问于2020-06-30得票数 0

回答已采纳

2回答

可以在亚马逊网络服务S3上的拼图文件上编写/运行BigQuery吗？

google-bigquery

我们想要检查外部商店拼图文件的BigQuery性能。这些拼图文件存储在亚马逊网络服务的S3上。在不传输文件到GCP的情况下，可以编写可以在亚马逊网络服务S3存储的拼花面板文件数据集上运行的BigQuery。

浏览 0提问于2020-03-03得票数 0

1回答

每小时从S3到BigQuery的数据传输

amazon-s3、google-bigquery

我想每小时将数据从S3传输到BigQuery。我在考虑，但它的预定执行时间限制在24小时之内。我正在尝试使用Embulk并学习如何使用它。但是，如果存在数据传输，我想知道更好的实现方法。

浏览 6提问于2022-06-13得票数 0

回答已采纳

1回答

Bigquery s3集成

amazon-s3、google-bigquery

BigQuery是否具有从s3导入数据的功能？如果没有，那么你能建议的最好的替代路径是什么？

浏览 1提问于2012-07-26得票数 4

回答已采纳

2回答

2 TB+表的Bigquery红移迁移

google-bigquery

我正在尝试将Redshift迁移到BigQuery。表的大小是2TB+，我正在使用bigquery红移数据传输服务。但是迁移已经运行了5个多小时。还可以看到在Redshift端执行的查询将数据卸载到50MB的区块中。由于无法在红移传输作业中配置块大小参数。将2TB的数据从redshfit传输到BigQuery需要这么多时间，或者可以做一些事情来改进这项工作。有一些像雪花一样的系统，从红移到结束只需要2-3个小时。

浏览 39提问于2019-07-22得票数 0

1回答

更改存储在s3中的媒体项目的权限

ruby、amazon-web-services、paperclip

我有数千个项目存储在s3中的“私有”下，使用的是回形针gem，我需要将它们从私有更改为公共。以下是我根据媒体获得的信息。extension", :preserve_files=>false, :processors=>[:thumbnail], :source_file_options=>{}, :storage=>:s3

浏览 0提问于2016-12-18得票数 0

1回答

将.gz文件从S3导入到BigQuery

csv、amazon-s3、google-bigquery、gzip

我在S3存储桶里放了一堆CSV压缩文件，我想把它们导入到BigQuery中。从文档中看，BQ可以从不同的来源导入gzipped数据。然而，当我配置数据传输作业时，它只允许CSV、JSON、AVRO、PARQUET、ORC文件格式。将传输作业配置为CSV文件格式并运行后，它会记录以下内容：有没有一种方便的方法将gzippe

浏览 2提问于2019-06-20得票数 1

2回答

通过BigQuery命令行工具在bigquery中缓存

caching、google-bigquery

我使用的是bigquery命令行工具。如何通过BigQuery命令行工具启用缓存。

浏览 1提问于2013-09-28得票数 3

1回答

使用AWS CLI传输AWS S3数据

amazon-web-services、amazon-s3、aws-cli

我正在尝试使用aws CLI将存储在s3中的25 tb数据从一个亚马逊网络服务账户传输到另一个亚马逊网络服务账户(位于不同地区)中的另一个s3存储桶，有人能建议我使用和处理哪个EC2实例更适合使用命令行工具进行数据传输吗

浏览 3提问于2017-07-24得票数 0

4回答

从s3加载数据的经济高效的BigQuery

amazon-s3、google-cloud-platform、google-bigquery

我每天都需要加载到BigQuery的分区表中，在s3中创建了(2 TB)大小为20k的文件。文件每5分钟滚动一次。将数据传输到BigQuery的最经济高效的方法是什么？我正在寻找在亚马逊网络服务s3到GCP网络出口和实际数据加载的成本优化。

浏览 1提问于2019-12-19得票数 0

2回答

如何在流模式下将数据从AWS加载到Google BigQuery？

google-bigquery、streaming、aws-rds-data-service

如何在流模式下将数据从AWS加载到Google BigQuery？描述:我有RDS ( Server)中的数据，并希望将这些数据实时加载到Google BigQuery中。

浏览 9提问于2020-02-18得票数 1

回答已采纳

5回答

将100,000张图像传输到S3。最快的方法是什么？

amazon-s3

我正在寻找从服务器向我的亚马逊S3存储桶传输大约100,000张图像的最快方法。这是否意味着循环遍历每个图像并执行单独的PUT请求？我希望有更快的方法，但什么也没找到。

浏览 5提问于2009-06-18得票数 5

2回答

将Amazon与Google BigQuery同步

google-bigquery、amazon-rds、database-replication

我们正在用BigQuery制作一个POC，我现在研究的是如何将这些基础复制到BigQuery (现有的寄存器和将来的新寄存器)。我的怀疑是：如何复制未来的注册？例如，在插入了1,000个新行(或传递了一段时间)后，一些事件被“触发”，新寄存器被复制到Cloud &#

浏览 2提问于2016-02-15得票数 6

1回答

如何在向bigquery迁移的红移中执行回填？

google-cloud-platform、google-bigquery

我使用bigquery数据传输服务将所有数据从红移迁移到BigQuery。在此之后，如果缺少任何数据，我希望在特定的时间内执行回填。但我看不出在调换工作中有什么回填选择。我如何在bigquery中实现这一点？

浏览 4提问于2020-09-23得票数 0

回答已采纳

1回答

Facebook广告到Bigquery的数据回填(附段)

google-bigquery、facebook-ads-api、segment

我正在使用片段为facebook广告数据的数据传输到Google BigQuery。转让是从昨天开始的。现在，我只能显示当前状态，通过查询变更量，我可以根据特定日期查询数据。现在我怎么才能把facebook广告的数据回填到BigQuery呢？最好与段，但麻生太郎与其他解决方案。

浏览 24提问于2022-09-29得票数 1

回答已采纳

1回答

如何使用bq命令调度BigQuery DataTransfer服务

amazon-web-services、amazon-s3、google-bigquery、command-line-interface

我正在尝试使用BigQuery创建一个数据传输服务。我使用bq命令创建DTS， "secret_access_key": "secret_access_key"--data_source=data_source_id 注意:当您使用</em

浏览 2提问于2020-01-20得票数 1

回答已采纳

2回答

使用命令行工具浏览本地S3存储(而不是亚马逊)

command-line、rhel、storage、amazon-s3

我希望从供应商S3中浏览、放置和获取本地电磁兼容Atmos云存储存储中的文件。如何将s3cmd指向本地S3主机？

浏览 0提问于2015-10-05得票数 0

1回答

多个文件上传到bigquery

google-bigquery、google-cloud-storage、google-cloud-sql

我正在尝试做多个文件同时上传到谷歌大查询使用命令行工具。我得到了以下错误：加载操作中出现BigQuery错误:无法与BigQuery服务器连接。如何使用命令行工具将多个文件同时上传到google big-query。

浏览 1提问于2014-05-09得票数 1

1回答

如何使用CLI bq命令创建一次性数据集拷贝(无计划重复

google-bigquery

我想使用bash脚本在BigQuery中创建从source_dataset_A到target_dataset_B的一次性数据集拷贝但是，如果我像下面这样使用source_dataset_id":"source_dataset_A","source_project_id":"source_project","overwrite_destination_table&qu

浏览 0提问于2021-03-10得票数 0

1回答

BigQuery CLI命令"bq load“是否支持可恢复上传？

google-bigquery

BigQuery接口支持可恢复和分块的uploads1。但是，bq命令行界面工具的BigQuery文档并没有提到如何使用这个特性，甚至没有提到它是否是possible2。那么，当使用bq加载工具上传大文件时，我可以进行分块和可恢复的上传吗？

浏览 47提问于2018-12-13得票数 1

点击加载更多