Google更新了分析数据存储BigQuery,不只增加脚本存储程序,还简化了从Teradata搬迁数据至BigQuery的程序,另外,也扩展BI引擎的预留存储空间。
脚本存储程序现在进入Beta测试阶段,数据工程师可以在一个请求中执行多个陈述式,增加BigQuery的查询效率,Google提到,用户可以使用控制逻辑If…Then与While来构建复杂的工作流程,并将这些任务另存成存储过程,以便跟其他用户共享,让其他人也可以调用这些命令。
另外,用户还可以使用变量在参数中进行走本的定制化执行,也能使用临时表格暂存数据,Google表示,熟悉程序式程序设计的开发人员,可以简单地用这些新功能加速数据搬迁,以及执行复杂的ETL逻辑。
对于最近Google在发布的Teradata到BigQuery的搬迁服务,通过结合BigQuery数据转移服务和专门的搬迁代理工具,将可以让用户把数据从Teradata本地端数据存储执行实例复制到BigQuery上,BigQuery数据转移服务可以同时搬迁Teradata数据存储中的数据以及结构。
而BI Engine的预留存储空间,从每个项目每个位置的10 GB增加到了50 GB,让用户可以有更宽裕的内存存储可以使用,以满足更快的报表和仪表板需求。Google提到,这项限制不会影响用户查询表格的大小,BI引擎仅在内存加载查询的字段,而非整个表格,此外,存储在BI引擎中的数据经过压缩。
不过,每个表格的数据模型大小限制仍然是10 GB,即便用户有50 GB的预留空间,BI引擎仍会将每个表格预留空间限制在10 GB,其余的会用于项目中的其他表格。
领取专属 10元无门槛券
私享最新 技术干货