我们有一个从BigQuery读取数据,并处理不同历年的历史数据。如果输入数据为小(~500 is ),则OutOfMemoryError错误会失败。在启动时,它从BigQuery读取大约10.000个元素/秒,过了很短的时间,它会慢到几百个元素/秒,然后完全挂起。com.google.cloud.dataflow.sdk.util.common.worker.ReadOperation$1.run(ReadOperation.java:206)
我怀疑管道的拓扑结构有问题DirectPipelineRunner work