如何使用Spidermon进行Scrapy历史输出比较
因此，Scrapinghub正在为Scrapy质量保险发布一项新功能。该公司表示，它具有历史比较功能，可以检测当前刮擦数量是否仅低于前一次刮擦数量的50%，这是可疑的。但是，我如何应用它呢？
回答 2
Stack Overflow用户
发布于 2019-03-21 11:52:55
要将当前抓取的项目与上一次运行进行比较，您首先需要将上一次运行的统计数据存储在某个地方。
以Github上的Spidermon example project为例，特别是monitors.py文件。它定义了两个监视器，ItemCountMonitor和ItemValidationMonitor，前者检查爬行器是否报废了少于1000个项目，如果是，它将send a message on Slack。后者检查是否正确地验证了项模式，如果没有，它还会在Slack上发送一条消息。
现在来回答你的问题。
如果你想检测当前抓取的项目是否比之前的抓取少了50%，你应该将scape统计数据存储在某个地方，甚至存储抓取的项目，假设你将抓取的项目存储在目录/home/user/scraped_items/%(date)s.json中，其中%( date )s是爬行器运行的日期(例如: 2019-01-01)。为了简单起见，假设您每天运行爬行器，并且每天有一个文件。
然后，您可以像这样编写一个监视器：
import json
from datetime import datetime, timedelta
@monitors.name("Item count dropped")
class ItemCountDroppedMonitor(Monitor):
@monitors.name("Item count dropped since previous run")
def test_item_count_dropped(self):
yesterday = (datetime.now() - timedelta(days=1)).strftime('%Y-%m-%d')
last_day_item_path = f'/home/user/scraped_items/{yesterday}.json'
minimum_threshold = 0.5 # 50%
items_extracted_now = getattr(self.data.stats, "item_scraped_count", 0)
items_extracted_last_run = json.loads(open(last_day_item_path).read())
items_extracted_last_run = len(items_extracted_last_run)
diff = items_extracted_last_run - items_extracted_now
self.assertFalse(
diff >= (items_extracted_last_run * minimum_threshold),
msg="Extracted less items than expected"
)Stack Overflow用户
发布于 2019-07-09 11:41:47
Spidermon version1.10引入了一个新的统计信息收集器，它将上次作业执行(https://spidermon.readthedocs.io/en/latest/stats-collection.html)的统计信息保存在您的.scrapy目录中。因此，每次执行爬行器时，都会在爬行器实例中提供一个stats_history属性，其中包含以前执行的所有作业的所有统计信息的列表。您不再需要像Luiz在他的回答中建议的那样手动处理统计数据的存储(但原则基本上是相同的)。
有了这些信息，您可以创建自己的监视器来处理这些统计数据，并计算抓取的项目的平均值，并将它们与您最近的执行进行比较(或者您可以根据需要使用统计数据)。您可以在前面提到的文档中看到类似的监视器示例。
https://stackoverflow.com/questions/55221375
复制
相似问题
如何在Scrapy Spidermon中使用Mandrill发送电子邮件报告
使用Scrapy进行the抓取，输出在哪里？
如何使用scrapy进行分页
不使用Scrapy输出
Scrapy:如何对每个数据进行多行输出
领取专属 10元无门槛券
AI混元助手 在线答疑
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
