首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何防止Google Cloud Dataproc集群VM实例自动关闭?

要防止Google Cloud Dataproc集群VM实例自动关闭,可以采取以下步骤:

  1. 设置自动删除保护:在创建Dataproc集群时,可以选择启用自动删除保护。这将防止集群中的VM实例在作业完成后自动关闭。在创建集群时,可以通过以下方式启用自动删除保护:
    • 使用gcloud命令行工具:在创建集群时,使用--no-auto-delete标志来禁用自动删除保护。
    • 使用Google Cloud Console:在创建集群的“高级选项”中,选择“禁用自动删除”。
  • 配置空闲超时时间:Dataproc集群中的VM实例在空闲一段时间后会自动关闭以节省资源。可以通过以下方式配置空闲超时时间:
    • 使用gcloud命令行工具:可以使用--max-idle标志来设置空闲超时时间,例如--max-idle=10m表示空闲10分钟后关闭实例。
    • 使用Google Cloud Console:在创建集群的“高级选项”中,找到“空闲超时”选项,设置相应的时间。
  • 使用预留实例:预留实例是一种可以长期保留的VM实例,可以用于Dataproc集群。预留实例可以确保集群中的VM实例不会被自动关闭。可以通过以下方式使用预留实例:
    • 使用gcloud命令行工具:可以使用--reservation-affinity标志来指定预留实例。
    • 使用Google Cloud Console:在创建集群的“高级选项”中,找到“预留实例”选项,选择相应的预留实例。
  • 配置自动缩放:Dataproc集群可以根据负载自动调整VM实例的数量。通过配置自动缩放,可以确保集群中始终有足够的VM实例运行作业,从而避免自动关闭。可以通过以下方式配置自动缩放:
    • 使用gcloud命令行工具:可以使用--num-workers--autoscaling-policy标志来配置自动缩放。
    • 使用Google Cloud Console:在创建集群的“高级选项”中,找到“自动缩放”选项,进行相应的配置。

需要注意的是,以上方法都是针对Google Cloud Dataproc集群中的VM实例进行配置,以防止其自动关闭。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

  • 《Scikit-Learn、Keras与TensorFlow机器学习实用指南(第二版)》第19章 规模化训练和部署TensorFlow模型

    有了能做出惊人预测的模型之后,要做什么呢?当然是部署生产了。这只要用模型运行一批数据就成,可能需要写一个脚本让模型每夜都跑着。但是,现实通常会更复杂。系统基础组件都可能需要这个模型用于实时数据,这种情况需要将模型包装成网络服务:这样的话,任何组件都可以通过REST API询问模型。随着时间的推移,你需要用新数据重新训练模型,更新生产版本。必须处理好模型版本,平稳地过渡到新版本,碰到问题的话需要回滚,也许要并行运行多个版本做AB测试。如果产品很成功,你的服务可能每秒会有大量查询,系统必须提升负载能力。提升负载能力的方法之一,是使用TF Serving,通过自己的硬件或通过云服务,比如Google Cloud API平台。TF Serving能高效服务化模型,优雅处理模型过渡,等等。如果使用云平台,还能获得其它功能,比如强大的监督工具。

    02
    领券