如何使用Airflow将BigQuery分区导出到GCS
如何使用Airflow将BigQuery分区导出到GCS
提问于 2019-09-17 22:23:18
我需要创建一个Airflow作业，将BigQuery表中的分区导出到给定范围的_PARTITIONDATE之间的GCS。我需要分区是在单独的文件与日期的分区。我如何才能做到这一点？
我已经尝试过使用airflow任务来使用SQL来获取_PARTITIONDATE，但是我可以通过编程来实现吗？
回答 2
Stack Overflow用户
发布于 2019-09-18 03:07:53
为此，我建议您在DAG定义中执行循环(您的循环是用Python代码编写的，您将在dag中添加很多步骤。根据定义，DAG不能包含循环)。
算法应该是这样的
在这一天查询范围内的所有日期
- 查询BigQuery并将结果保存到一个临时表中，该表的名称中包含该日期。使用BigqueryOperator
- Extract将临时表发送到GCS。使用BigQueryToCloudStorageOperator
Stack Overflow用户
发布于 2019-09-17 22:31:40
只需遵循下面的链接，这些是使用Airflow将Bigquery分区导出到GCS的指南：https://m.youtube.com/watch?v=wAyu5BN3VpY&t=28s
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/57976400
复制相关文章
相似问题
腾讯云开发者
