如何在抓取蜘蛛的start_urls中发送post数据
如何在抓取蜘蛛的start_urls中发送post数据
提问于 2013-07-13 06:36:05
我想抓取一个网站，只支持张贴数据。我想在所有请求中发送post数据中的查询参数。如何做到这一点？
回答 1
Stack Overflow用户
回答已采纳
发布于 2013-07-13 06:46:45
可以使用scrapy的Request或FormRequest类发出POST请求。
此外，请考虑使用start_requests()方法而不是start_urls属性。
示例：
from scrapy.http import FormRequest
class myspiderSpider(Spider):
name = "myspider"
allowed_domains = ["www.example.com"]
def start_requests(self):
return [ FormRequest("http://www.example.com/login",
formdata={'someparam': 'foo', 'otherparam': 'bar'},
callback=self.parse) ]希望这能有所帮助。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/17625053
复制相关文章
相似问题
腾讯云开发者
