希望就如何处理Google BigQuery中的表操作(重命名列)提供一些建议。
目前,我有一个包装器来完成这个任务。我的表是按日期划分的。如果我有一个表名的事实,我将有几个表的名称:
fact_20160301
fact_20160302
fact_20160303...等
重命名列包装器生成别名查询。即。如果我想将表模式从“地址”、“名称”、“城市”、“->”位置、“名”、“城镇”中更改
我执行批处理查询操作:select address as location, name as firstname, city as town
并在父表上执行WRITE_TRUNCATE。
我的主要问题在于BigQuery只支持50个并发作业。这意味着,当我提交我的批处理请求时,我一次只能完成大约30个分区,因为我想为运行的ETL作业预留20个位置。
此外,我还没有找到一种方法,您可以在批处理操作中执行poll_job来查看一个批处理中的所有作业是否已经完成。
如果有人有什么窍门,我很想听听。
发布于 2016-03-15 19:48:54
发布于 2016-03-15 18:28:39
操纵模式的最佳方法是通过。
https://stackoverflow.com/questions/36018361
复制相似问题