问在scrapy的start_requests()中返回项目

EN

我认为使用爬虫中间件和重写开始_requests()将是一个很好的开始。

在您的中间件中，您应该遍历start中的所有urls_urls，并且可以使用条件语句来处理不同类型的urls。

• 对于不需要请求的特殊URL，您可以

直接调用管道的进程_item()，请不要忘记导入您的管道并从您的url为此创建一个scrapy.item

正如您所提到的，在请求中将url作为meta传递，并使用一个单独的解析函数，该函数只返回url。

• 对于所有剩余的URL，您可以启动一个“普通”请求，因为您可能已经定义了

您可以使用Downloader Middleware来完成此工作。

在start_requests()，您应该始终发出请求，例如：

def start_requests(self):
    for url in all_urls:
        yield scrapy.Request(url)

但是，您应该编写一个下载器中间件：

class DirectReturn:
    def process_request(self, request, spider):
        image_url = request.url
        if url in direct_return_url_set:
            resp = Response(image_url, request=request)
            request.meta['direct_return_url': True]
            return resp
        else:
            return request

然后，在您的parse方法，只需检查键direct_return_url在response.meta。如果是，只需生成一个项目并将response.url放入该项目，然后生成该项目。