问Avro日期和时间与BigQuery的兼容性？

EN

对于Avro逻辑类型的本地理解现在对所有BigQuery用户都是公开的。有关详细信息，请参阅此处的文档页：类型

更新:现在支持此特性，请跟随Google.com/35905894获取更多信息。

正如华所说，在BigQuery中不支持Avro逻辑类型，但是加载带有时间戳的Avro数据的支持方法是使用LONG Avro类型将数据加载到具有时间戳列的现有BigQuery表中。此外，该值应该是从历代起的微秒(而不是秒或毫秒)。例如，下面的Avro文件有一个值为1408452095000000的长字段，它将表示"2014-08-19 12:41:35“。

Avro文件的架构：

% avro-tools getschema ~/dataset/simple_timestamp.avro
{
  "type" : "record",
  "name" : "FullName",
  "fields" : [ {
    "name" : "t",
    "type" : "long"
  } ]
}

将Avro文件加载到带有时间戳字段的表的示例：

bq mk --schema t:TIMESTAMP -t vimota.simple_timestamp
bq load --source_format=AVRO vimota.simple_timestamp ~/dataset/simple_timestamp.avro
bq head vimota.simple_timestamp:

+---------------------+
|          t          |
+---------------------+
| 2014-08-19 12:41:35 |
+---------------------+

我在PostgreSQL表中有带有时间戳列的数据。在遵循https://github.com/spotify/spark-bigquery/issues/19评论中的建议之后，我能够通过Avro将它导入到https://github.com/spotify/spark-bigquery/issues/19中。

在Kotlin中使用PostgreSQL JDBC库，重新计算了时间戳转换为BigQuery内部格式 (自Unix时代开始以来的微秒)。

(object as java.sql.Timestamp).time * 1000

并把它放在我的阿夫罗记录中，输入Schema.Type.LONG。

然后，我在用JSON为我的数据创建了一个架构文件中给出了“时间戳”的列类型。

[ {"name": "job", "type": "string", "mode": "required"}, ... {"name": "began", "type": "timestamp", "mode": "required"}, ... ]

(见开始的字段)

最后，我将它导入到BigQuery中

bq mk test.test2 dataset.avro schema.json

结果是

$ bq head test.test2 +------+----+----------+---------------------+---------+-----------+ | job | id | duration | began | status | node_name | +------+----+----------+---------------------+---------+-----------+ | job1 | 1 | 0.0 | 2012-04-01 00:00:00 | aStatus | aNodeName | | job2 | 1 | 0.0 | 2020-02-02 00:02:02 | aStatus | aNodeName | +------+----+----------+---------------------+---------+-----------+

Web不允许为Avro文件指定架构，但是CLI客户端和API会指定模式。

我现在唯一的问题就是处理时区问题。但这并不是阿夫罗的问题。