问抓取蜘蛛的管理框架

EN

我有一个项目，在其中我已经实施了数以百计的刮除蜘蛛。现在，我遇到了以下问题：

1. 网站不时改变它们的DOM/API所以蜘蛛停止工作或者不是所有收集到的信息。
2. 网站变得不可用或移动到另一个域-蜘蛛停止工作。
3. 因为蜘蛛很多，所以很难监测每只蜘蛛的状态。

是否有任何框架提供监视刮伤蜘蛛的能力？

1. 运行蜘蛛的状态
2. 显示蜘蛛何时停止工作等。

我研究过scrapinghub/zyte，但不确定它是否适合我们的目的，因为我们需要一些可以在本地运行的东西。