在Scrapy中使用嵌套解析器时保存的重复项

在Scrapy中使用嵌套解析器时，可以通过设置去重过滤器来保存重复项。Scrapy提供了多种去重过滤器，常用的包括基于内存的去重过滤器和基于数据库的去重过滤器。

基于内存的去重过滤器使用哈希表来保存已经处理过的请求的指纹（fingerprint），并在每次处理新的请求时进行对比。如果新的请求的指纹已经存在于哈希表中，那么该请求将被视为重复项，Scrapy将自动过滤掉该请求，不会再次进行处理。这种去重过滤器适用于小规模爬虫。

基于数据库的去重过滤器将已处理过的请求的指纹保存到数据库中，并在每次处理新的请求时查询数据库进行对比。如果新的请求的指纹已经存在于数据库中，那么该请求将被视为重复项，Scrapy将自动过滤掉该请求。这种去重过滤器适用于大规模爬虫，因为数据库可以支持更大的数据量和更快的查询速度。

在Scrapy中，可以通过在项目的settings.py文件中配置DUPEFILTER_CLASS参数来选择使用哪种去重过滤器。例如，可以使用Scrapy提供的基于内存的去重过滤器：

DUPEFILTER_CLASS = 'scrapy.dupefilters.RFPDupeFilter'

或者使用Scrapy提供的基于数据库的去重过滤器：

DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'

值得一提的是，Scrapy还提供了一种特殊的去重过滤器scrapy_redis.dupefilter.RFPDupeFilter，它结合了基于内存和基于数据库的去重机制，可以在分布式爬虫中有效地去重。

总结起来，Scrapy中使用嵌套解析器时保存的重复项可以通过配置去重过滤器来实现去重功能，具体选择哪种去重过滤器取决于爬虫的规模和需求。