文章/答案/技术大牛

发布

社区首页 >问答首页 >gcp中对bigquery的读写。什么服务？

问gcp中对bigquery的读写。什么服务？
EN

Stack Overflow用户

提问于 2020-10-23 08:00:35

回答 2查看 139关注 0票数 0

我正在创建一个bigquery表，在该表中，我从其他几个bigquery表中加入和转换数据。它都是用sql编写的，整个查询大约需要20分钟才能运行，并且由几个sql脚本组成。我还在创建end表之前创建了一些中间表。

现在，我想让上面的查询更加健壮，并对其进行调度，我无法决定该工具。我在考虑其他选择。

使用云调度器将其转化为数据流作业和调度。这可能有点过火了，因为所有的代码都是用SQL和bq -> bq编写的。
创建计划好的查询来加载数据。没有这方面的经验，但似乎安静，很好
创建一个python脚本，该脚本使用BQ执行所有sql。创建一个cron作业，并安排它在GCP中的某个位置运行。

对于什么是首选的解决方案，有什么建议吗？

google-bigquery

dataflow

database

google-cloud-platform

回答 2

Stack Overflow用户

发布于 2020-10-23 09:35:53

如果它被封装在一个脚本中(甚至是多个脚本)，我会把它安排在BQ中。它将处理与其他选项没有什么不同的查询，因此为查询设置额外的服务是没有意义的。

您能够作为一个查询运行它吗？

票数 1

Stack Overflow用户

发布于 2020-11-17 09:15:41

根据我对GCP的经验，Composer和Dataflow的作业，正如您所建议的那样，都是过火的。所有这些产品都不会是无服务器的，而且可能会因为后台运行的实例而意味着更高的经济成本。

另一方面，您可以定期创建定期查询(每天、每周等)，这些查询由足够大的时间窗口分隔，以确保按预期顺序执行查询。从这个意义上说，最终表将正确地从中间表构造。

在我看来，执行Python脚本和向Pub/Sub发送触发云函数的通知(正如apw-ub建议的那样)也是很好的选择。

总之，我想最终的决定应该更多地取决于你个人的喜好。请随意使用Google定价计算器(1)来估算每个选项的成本。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/64496155

复制

相似问题

问gcp中对bigquery的读写。什么服务？
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问gcp中对bigquery的读写。什么服务？EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问gcp中对bigquery的读写。什么服务？
EN