为了从驻留在美国的BigQuery (BQ)表中移动数据,我希望将表导出到美国的云存储桶( Cloud,GCS)桶中,将其复制到欧盟存储桶中,然后从那里再次导入它。问题是AVRO不支持DATE类型,但它对我们至关重要,因为我们使用的是新的,它不依赖于摄入时间,而是使用表本身中的一个列。AVRO文件将DATE列作为STRING包含,因此当试图通过bq load加载文件时,会引发Field date h
我正在尝试使用谷歌的云数据融合(CDF)来执行PostGres中一些OLTP数据的ETL到BigQuery (BQ)。我们将复制的内容的几个选择表到一个等价的表格,在每天晚上-我们将添加一个列与日期戳。因此,假设我们有一个表,其中有两个列A& B,以及PostGres中的一行数据| A | B |
|------------------