如何使用scrapy登录网页

import scrapy
from scrapy.http import FormRequest

class LoginSpider(scrapy.Spider):
    name = 'login_spider'
    start_urls = ['http://example.com/login']  # 登录页面的URL

    def parse(self, response):
        # 提取登录页面中的表单数据
        formdata = {
            'username': 'your_username',
            'password': 'your_password'
        }
        # 发送登录请求
        yield FormRequest.from_response(response, formdata=formdata, callback=self.after_login)

    def after_login(self, response):
        # 检查登录是否成功
        if "Welcome" in response.text:
            self.logger.info("Login successful!")
            # 在这里可以继续爬取需要登录后才能访问的页面或执行其他操作
        else:
            self.logger.error("Login failed!")

scrapy crawl login_spider