问如何使用Apache beam处理历史时间序列数据？

EN

这听起来像是Beam专注于事件时间处理的一个完美用例。只要事件有时间戳，您就可以针对任何遗留数据运行管道，并获得正确的结果。如果没有额外的上下文，我认为你需要在你的管道中有一个明确的步骤来分配你需要从数据中提取的自定义时间戳(从2017年开始)。要做到这一点，您可能可以使用以下任一方法：

DoFn;

• WithTimestamps PTransform;

中的

• context.outputWithTimestamp()

如果存在时间戳排序问题，则可能需要配置允许的时间戳偏差。

请参见：

示例：https://github.com/apache/beam/blob/efcb20abd98da3b88579e0ace920c1c798fc959e/sdks/java/core/src/test/java/org/apache/beam/sdk/transforms/windowing/WindowingTest.java#L248

• documentation
• outputWithTimestamp问题：https://beam.apache.org/releases/javadoc/2.13.0/org/apache/beam/sdk/transforms/WithTimestamps.html#of-org.apache.beam.sdk.transforms.SerializableFunction-
• similar问题:可能具有有用详细信息的问题：reading files and folders in order with apache beam

WithTimestamps