文章/答案/技术大牛

发布

社区首页 >问答首页 >如何安排查询(导出数据)从谷歌大查询到外部存储空间(例如:框)

问如何安排查询(导出数据)从谷歌大查询到外部存储空间(例如:框)
EN

Stack Overflow用户

提问于 2019-03-15 14:12:46

回答 1查看 1.4K关注 0票数 0

我在Google中阅读了很多关于将查询调度到外部存储位置的文章和解决方案，但它们似乎并不那么清晰。

注意:我的公司只订阅Google，而不订阅完整的云服务(Google平台)。

我知道如何手动操作，但是我希望自动化这个过程，因为我每周都需要相同的数据。

如有任何建议，将不胜感激。谢谢。

job-scheduling

google-cloud-platform

google-bigquery

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-03-15 15:51:24

选项1

您可以使用阿帕奇气流，它提供了使用BigQuery操作符在BigQuery上创建调度任务的选项。

您可以在这个链接中找到开始设置它所需的基本步骤。

选项2

您可以使用Google BigQuery 命令行导出数据，就像从webUI导出数据一样，例如：

bq --location=[LOCATION] extract --destination_format [FORMAT] --compression [COMPRESSION_TYPE] --field_delimiter [DELIMITER] --print_header [BOOLEAN] [PROJECT_ID]:[DATASET].[TABLE] gs://[BUCKET]/[FILENAME]

一旦你得到了这个工作，你可以使用任何你喜欢的调度过程来安排这个作业的运行。

顺便说一句:气流有一个连接器，使您能够运行命令行工具。

一旦GCP中的文件，您可以使用Box G套件集成查看和管理您的文件

票数 3

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/55184539

复制

相似问题

问如何安排查询(导出数据)从谷歌大查询到外部存储空间(例如:框)
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何安排查询(导出数据)从谷歌大查询到外部存储空间(例如:框)EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何安排查询(导出数据)从谷歌大查询到外部存储空间(例如:框)
EN