问您能否将BQ查询安排为每天运行并保存到表中？
EN

Stack Overflow用户

提问于 2018-06-28 05:26:26

回答 1查看 2.4K关注 0票数 0

我有一个BQ查询，它会产生很多数据，我通常会将这些数据保存为一个新表。是否可以将此过程安排为每天进行？如果可能，推荐的方法是什么？

发布于 2018-06-28 05:45:42

Bigquery没有提供自己的作业调度程序。您将无法在bigquery web视图中执行此操作。

你完全可以用一小段代码来做到这一点。您必须选择一个调度程序来在您希望的时间运行您的bigquery查询作业。许多人只是从一个非常简单的bash脚本开始，该脚本通过cron运行作业。

另一种方法是使用apache-airflow作为调度器，并将您的作业部署为一个airflow DAG，它将在您需要时执行。Airflow甚至有一个BigqueryOperator，可以让你更容易做到这一点。

基本上，你需要一些代码和google cloud sdk来做这件事。

我相信这个问题可能已经被回答了，here

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/51071657

复制

相似问题

问您能否将BQ查询安排为每天运行并保存到表中？EN