Scrapy X路径:无法使用"and“连接表达式
Scrapy是一个用于爬取网站数据的Python框架，它提供了强大的工具和库来简化爬虫的开发过程。X路径（XPath）是一种用于在XML和HTML文档中定位元素的语言。
在Scrapy中，可以使用X路径来选择和提取网页中的特定元素。然而，有时候可能会遇到无法使用"and"连接表达式的情况。这是因为Scrapy使用的是基于libxml2的lxml库来解析网页，而lxml库在处理X路径时对"and"连接表达式的支持有限。
解决这个问题的方法是使用其他的X路径语法来达到相同的效果。例如，可以使用多个独立的X路径表达式来选择不同的元素，然后在代码中进行逻辑判断和组合。另外，还可以使用CSS选择器来代替X路径，因为Scrapy也支持使用CSS选择器来选择和提取元素。
总结起来，当在Scrapy中遇到无法使用"and"连接表达式的情况时，可以尝试以下解决方法：
- 使用多个独立的X路径表达式来选择不同的元素，然后在代码中进行逻辑判断和组合。
- 使用CSS选择器来代替X路径进行元素选择和提取。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云官网：https://cloud.tencent.com/
- 云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 云数据库 MySQL 版：https://cloud.tencent.com/product/cdb_mysql
- 人工智能平台（AI Lab）：https://cloud.tencent.com/product/ailab
- 云存储（COS）：https://cloud.tencent.com/product/cos
- 区块链服务（TBCAS）：https://cloud.tencent.com/product/tbcas
- 腾讯云元宇宙：https://cloud.tencent.com/solution/virtual-universe
相关·内容
我已经尝试过了： //p and ancestor::div[contains(@id, 'content')] 标签可以单独使用，但我不能将它们连接起来。
浏览 33提问于2019-06-25得票数 0
1回答
它将给出无效的路径表达式，并且我正在尝试刮取电子邮件。import scrapyfrom scrapy.crawler import CrawlerProcess
name = 'test'
start_urls = ['https://rejestradwokatow.pl/ad
浏览 5提问于2022-06-30得票数 0
2回答
我正在尝试弄清楚如何在scrapy项目加载器中使用regex。我曾尝试将lambda函数与split()一起使用，但得到了以下错误。无法定义拆分。您可以看到该函数在项目加载器类中被注释掉了。"“ loser = scrapy.Field()
winner
浏览 4提问于2018-02-20得票数 0
回答已采纳
我尝试在Python中使用Scrapy，但即使安装了它，之后当我尝试导入它时也找不到它。我是python的新手，直接与终端打交道，所以我可能遗漏了一个(或许多)要点。详细信息$ pip install ScrapyUsing cached Scrapy-1.1.0-py2.py3请注意，当我尝试在项目中导入scrapy时，一旦我运行它，就会收到与尝试直接在Terminal中导入<e
浏览 0提问于2016-05-16得票数 5
import scrapyfrom scrapy.pipelines.files import FilesPipelinel=essen/europa/deutschl/allerkbd' 'user-agent': 'Mozilla/5.0 (X11; Linuxx86_64) A
浏览 3提问于2021-05-28得票数 1
回答已采纳
3回答
我正试图在我的Windows 7 64位计算机上安装Scrapy。首先，我遵循了Scrapy文档中的说明。它们指出，您应该解压缩二进制文件，并将BIN文件夹的内容放在C:\WINDOWS之类的路径中。是我干的。但是，在再次尝试安装Scrapy之后，我继续收到相同的错误。
浏览 1提问于2016-01-26得票数 2
我如何从下面这样的东西中提取(用抓取的) image_1.png：<style type="text/css">{}<img class="article_image">我脑海中出现的唯一想法就是regexp源
浏览 1提问于2012-07-03得票数 1
回答已采纳
1回答
我正在使用Scrapy从一个基本上如下的网站上获取数据： <span class="date1">20 hours ago</span<span class="bar">26-06-2015</span> </li>
现在，如果我在浏览器(如XPath )
浏览 1提问于2015-06-26得票数 1
回答已采纳
环境Windows 7 (64) Python 2.7.3 (32) pip安装scrapy安装完所有的依赖库(lxml，openssl路径肯定是正确的，并且工作正常，否则我将无法使用pip install、virtualenv等。Scrapy startproject是唯一的python操作，我遇到了这个问题。现在，我可以调用scrapy命令，但前提是我在python27目录中显式地声明了完
浏览 1提问于2012-12-20得票数 4
当我试图在Windows 10上安装Scrapy时，我面临的是WinError 3。Conda版本: 4.5.12Python版本: 3.7.1.final.0WinError 3系统找不到指定的路径：‘C：\程序文件(x86)\Microsoft \Windows\v8.1\lib
浏览 0提问于2019-03-06得票数 0
回答已采纳
dot 3)], pyOpenSSL 18.0.0 (OpenSSL 1.1.0h 27 Mar 2018), cryptography 2.2.2, Platform Darwin-17.7.0-x86object at 0x10d4943c8>[s] request <GET http://www.walmart.com>[s] settin
浏览 1提问于2018-08-01得票数 0
4回答
from scrapy.spiders import CrawlSpider, Rulefrom scrapy.loader.processors,response.xpath('//a[@itemprop="contentUrl"]/@data-href').extract())
item['image_urls'] = [ x<
浏览 71提问于2016-08-05得票数 6
回答已采纳
2回答
我正在尝试使用Scrapy抓取一个网站，而我想要销毁的每一页的urls都是使用这种相对路径编写的：现在，在我的浏览器中，这些链接正常工作，您可以访问像这样的urls (尽管相对路径在层次结构中向上两次，而不是一次)2013-10-13 09:30:4
浏览 4提问于2013-11-04得票数 3
回答已采纳
我的Django项目使用了名为Scrapy的Python web抓取库。Scrapy附带了一个名为scrapy crawl abc的命令，它可以帮助我抓取我在scrapy应用程序中定义的网站。当我在本地机器上运行诸如scrapy crawl spidername之类的抓取命令时，应用程序能够抓取日期并将其复制到我的数据库中。但是，当我在我的项目目录heroku run scrapy crawl spidername的子目录下的Heroku上运行相同的命令时，什么也没有发
浏览 1提问于2012-01-27得票数 3
回答已采纳
我有一个Scrapy项目，它成功地抓取源网站，返回所需的项，然后使用ImagePipeline从返回的图像链接下载(然后相应地重命名)图像.但只有当我使用"runspider".从终端运行时，才能运行每当我使用来自终端或CrawlProcess的“爬行”从脚本运行蜘蛛，它返回项目，但不下载图片，我想，完全错过ImagePipeline。我读到，在以这种方式运行时，我需要导入我的设置，以便正确地加载管道，这在研究了“爬行”和“运行蜘蛛”之间的区别之后是有意义的，但我仍然无法使管道工作。这
浏览 0提问于2019-08-22得票数 1
1回答
问题：在我的代码(请参阅下面的“当前代码”一节)中，我遗漏了哪些内容使我能够使用Scrapy从绝对路径和相对路径下载文件？我很感激你的帮助。后台：我使用了浏览Scrapy文档、在GitHub上找到类似的示例以及拖网搜索StackOverflow以获得答案的组合，但我无法让Scrapy文件管道以我想要的方式工作。我正在寻找相当基本的目标网站，这些网站有许多文件，主要是PDF和JPG，它们作为绝对路径或相对路径在a hr
浏览 2提问于2018-02-04得票数 0
结构： scrapy_test_project items.py跟踪(最近一次调用)：impo
浏览 2提问于2021-07-23得票数 1
1回答
刮伤不是爬过链接
、、
我是用链接提取器抓取链接，我使用的是正确的XPath表达式，但我不知道为什么它会无限大，打印某种源代码，而不是餐馆的名称和地址。我知道在我的限制XPath表达式中有一些错误，但是无法知道它是什么。代码：from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider
浏览 5提问于2021-12-14得票数 0
回答已采纳
1回答
匹配正则表达式的抓取链接
、、、
我刚开始使用scrapy和正则表达式，但经过研究，它们似乎是我提取scrapy要遵循的链接的最佳解决方案。我试图从我的起始URL中跟踪链接，这些链接只包含一个特定的州缩写，但我遇到的问题是，包含缩写的URL并不统一，它们具有不同的长度，不同数量的前导字符和尾随字符，并且对于我的生活来说，无法找出正确的正则表达式来喂养scrapy以遵循我想要的链接。
浏览 0提问于2013-10-04得票数 1
我想在烧瓶webservice (部署模式)中运行scrapy，但是当使用os.system时，它不会在与我运行webservice相同的虚拟环境中运行scrapy。子流程包也有相同的问题，我无法访问venv路径。os.system(f"scrapy crawl spider_name -o file.json")
浏览 10提问于2022-05-15得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
