Scrapy回调函数callback传递参数的方式

py3study

发布于 2020-11-05 23:59:16

2.8K00

代码可运行

文章被收录于专栏：python3python3

运行总次数：0

代码可运行

一、概述

默认Scrapy callback只能接函数名，不能传参数，我如果想给callback传递多个参数呢？

回调方法示例：

yield Request(url=self.base_url + 'QueryInfo', headers=self.request_headers, method="POST", body=json.dumps(request_params), callback=self.page_query_schools, cb_kwargs=add_params)

callback对应的是page_query_school()即为回调的方法。

二、传递参数方式

如何向回调方法中传递参数呢？在scrapy1.7之后，是基于cb_kwargs方式传递dict类型，可以在回调方式中直接访问对应的参数值。

add_params = {}
add_params['province_code'] = province_code
add_params['province_name'] = name
yield Request(url=self.base_url + 'QueryInfo', headers=self.request_headers, method="POST", body=json.dumps(request_params), callback=self.page_query_schools, cb_kwargs=add_params)
         
def page_query_schools(self, response, province_code, province_name):        
     # logic definition