问如何在BigQuery中回填分区数据？

EN

正如@Lemon已经指出的那样，您正在使用Ingestion time partitioned表(源表和dest表)，您需要了解它是如何工作的。摄取时间分区表与正则分区表不同。

从文档-

创建按摄取时间划分的表时，BigQuery将根据BigQuery获取数据的时间自动将行分配给分区。 这种类型的表有一个名为pseudo-column的_PARTITIONTIME.The值，该列是每一行的摄取时间。

由于您使用的是SELECT * FROM gcp_billing_export_v1，所以您将获得所有数据，但没有任何_PARTITIONTIME列。当您将相同的结果保存到目标表中时，它将按照destintaion表的Dataingestion-time更新_PARTITIONTIME列。

因此，在_PARTITIONTIME中有具有当前日期的旧数据。

为了避免这种情况，目标表需要是普通表或常规分区表。

另外，您需要有一个额外的列来保存来自源的Datetime值，_PARTITIONTIME column.You可以在这个新列上创建一个常规分区。

然后，要在结果集中获取_PARTITIONTIME，需要在查询中使用特别提到列名。。

SELECT *,_PARTITIONTIME AS ingestionTime 
FROM gcp_billing_export_v1 
WHERE DATE(_PARTITIONTIME) = @run_date

上面的查询将返回gcp_billing_export_v1表中的所有数据，其中包含一个额外的列ingestionTime。

现在您可以回填5月15日的数据，并将其保存到新的表中。

您还可以围绕下面的查询进行调整，以实现相同的查询。

SELECT *,_PARTITIONTIME AS ingestionTime 
FROM gcp_billing_export_v1 
WHERE DATE(_PARTITIONTIME) = DATE_ADD(@run_date, INTERVAL -1 DAY)

它将按照您的需要.Now每天运行，如果您想要在5月15日的数据，那么您必须安排回填16，5月(根据where子句)。

看起来你在使用摄取分区。

您需要使用所需的分区( EventDate )创建一个新表，并使用历史数据和新的日常数据填充该新表--因为您不能覆盖现有分区。

链接此处：表格