首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >数据流自动标度是什么时候开始的?

数据流自动标度是什么时候开始的?
EN

Stack Overflow用户
提问于 2020-11-05 00:31:08
回答 1查看 457关注 0票数 0

因此,根据文档“如果流管道仍然积压,平均20%以上的CPU占用超过20%的CPU,则数据流会增加几分钟”(https://cloud.google.com/dataflow/docs/guides/deploying-a-pipeline#autoscaling)。当Dataflow开始扩展时,是否有确切的时间框架?

因为我使用流引擎(默认情况下有一个工作人员)测试我的流作业,以查看自动标度是否有效,以及工作人员的数量是否增加,但在CPU利用率超过20%超过6分钟之后。还有一个积压的来自PubSub的未确认消息,时间也是一样的(大约6分钟)。目前的工人人数仍为1人,没有自动标度。

另外,对于数据流程中的作业度量下的自动标度图,它为我说:“当前的员工: 1,目标员工: 1”。“目标工人”是什么意思,和现在的工人有什么区别?

提前感谢您的帮助。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-11-05 07:00:25

关于自动标度图。

  • 现有工人-管道目前使用的工人人数
  • 目标工人-数据流自动标度算法建议的工人人数。可能是高档的,也可能是低档的。管道公司正在努力实现这一目标。

关于扩展决策的时间,我认为这里的Dataflow服务并没有提供确切的保证。请参阅流自动标度相关文档这里。如果您认为存在与自动标度相关的问题,请与Dataflow支持联系,以便他们能够查看您的特定管道。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/64689580

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档