将数据从谷歌云存储加载到BigQuery
将数据从谷歌云存储加载到BigQuery
提问于 2016-10-03 02:25:03
我有一个要求加载100的表从谷歌云存储到BigQuery (全球通信系统->临时表->主表)。我已经创建了一个python进程来将数据加载到BigQuery中，并在AppEngine中进行调度。因为我们对AppEngine有最多10分钟的超时。我已经在异步模式下提交了作业，并在稍后的时间点检查作业状态。由于我有100个表，需要创建一个监控系统来检查作业加载的状态。
需要维护几个表和一堆视图来检查作业状态。
操作过程并不复杂。有没有更好的办法？
谢谢
回答 1
Stack Overflow用户
发布于 2016-10-03 03:48:21
当我们这样做时，我们简单地使用了一个像Beanstalkd这样的消息队列，在那里我们推送了一些后来必须检查的东西，并且我们编写了一个订阅通道并处理任务的小工作程序。
另一方面: BigQuery支持直接从Google Cloud Storage查询数据。
使用案例：
- 通过从联合数据源( BigQuery外部的位置)查询数据，并将清理后的结果写入到
- 中，一次性加载和清理数据，这是您与其他表连接的少量频繁更改的数据。作为联合数据源，频繁更改的数据不需要在每次更新时都重新加载。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/39820225
复制相关文章
相似问题
腾讯云开发者
