开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

社区首页 >问答首页 >将BigQuery数据传输到s3桶

问将BigQuery数据传输到s3桶
EN

Stack Overflow用户

提问于 2020-10-01 15:20:19

回答 2查看 3.2K关注 0票数 4

我有一个存储在大查询中的模式，我需要将它传输到亚马逊的s3桶..What是过程吗？BigQuery数据是愿意适当访问数据传输的其他组织的数据。我找到了从s3桶导入到gcp的方法，但是没有办法直接从大查询导出到s3。而且，由于bigquery中的数据正在发生变化，我需要安排这个过程，而且我每天都想要s3桶中的数据。请提到这方面的参考资料。请注意，每天的数据将出现在TBs中。

google-cloud-platform

google-bigquery

EN

回答 2

Stack Overflow用户

发布于 2020-10-22 14:07:19

AFAIK没有直接的bigquery到s3管道，但是工作是BigQuery到Google云存储，然后是s3

第一步是在计划作业的机器上进行安装gcloud sdk。
配置gcloud并特别注意boto配置，如果进程要在一个EC2上运行，并附加了一个角色，允许它写入S3 (这也是一个比使用键更好的安全实践)，您可以跳过这一步。
将数据从bigquery复制到gcs bq -位置=美国提取-目标格式AVRO -压缩快速source_table
将文件从gcs复制到s3 在gcs上将-r目标定位到s3上的目标位置

注意:这个过程对于GA360数据很好，因为它已经在一天之内被分区了，但是如果不是这样，并且您不能分隔表，那么您可以调度对GCP的查询来创建具有增量逻辑的表，该表将用作源表。

update AWS发布了一个BQ 胶水连接器，可以做到这一点。

票数 5

EN

Stack Overflow用户

发布于 2022-09-28 12:47:54

我想这可以直接使用Export : Ref：将BigQuery数据传输到s3桶

用连接CONNECTION_REGION.CONNECTION_NAME导出数据

选项(uri=“S3://BUCKET_NAME/PATH”、format="FORMAT“、.)

AS查询

票数 -1

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/64158401

复制

相似问题