首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Apache Spark 黑名单机制介绍

使用 Apache Spark的时候,作业会以分布式的方式不同的节点上运行;特别是当集群的规模很大时,集群的节点出现各种问题是很常见的,比如某个磁盘出现问题等。...黑名单机制其实是通过维护之前出现问题的执行器(Executors)和节点(Hosts)的记录。...我们可以通过 Apache Spark WEB UI 界面看到执行器的状态(Status):如果执行器处于黑名单状态,你可以页面上看到其状态为 Blacklisted ,否则为 Active。...如下图所示: 0109.png 拥有了黑名单机制之后,上面场景的问题就可以很好的解决。...目前黑名单机制可以通过一系列的参数来控制,主要如下: 参数 默认值 含义 spark.blacklist.enabled false 如果这个参数这为 true,那么 Spark 将不再会往黑名单里面的执行器调度任务

3.5K70
领券