因此,根据文档“如果流管道仍然积压,平均20%以上的CPU占用超过20%的CPU,则数据流会增加几分钟”(https://cloud.google.com/dataflow/docs/guides/deploying-a-pipeline#autoscaling)。当Dataflow开始扩展时,是否有确切的时间框架?
因为我使用流引擎(默认情况下有一个工作人员)测试我的流作业,以查看自动标度是否有效,以及工作人员的数量是否增加,但在CPU利用率超过20%超过6分钟之后。还有一个积压的来自PubSub的未确认消息,时间也是一样的(大约6分钟)。目前的工人人数仍为1人,没有自动标度。
另外,对于数据流程中的作业度量下的自动标度图,它为我说:“当前的员工: 1,目标员工: 1”。“目标工人”是什么意思,和现在的工人有什么区别?
提前感谢您的帮助。
发布于 2020-11-05 07:00:25
关于自动标度图。
关于扩展决策的时间,我认为这里的Dataflow服务并没有提供确切的保证。请参阅流自动标度相关文档这里。如果您认为存在与自动标度相关的问题,请与Dataflow支持联系,以便他们能够查看您的特定管道。
https://stackoverflow.com/questions/64689580
复制相似问题