Scrapy / XPATH :如何仅从后代和自身中提取文本
Scrapy是一个基于Python的开源网络爬虫框架，用于快速、高效地从网页中提取数据。它提供了强大的工具和方法，使开发者能够轻松地定义爬取规则和处理提取的数据。
XPATH是一种用于在XML文档中定位元素的语言。在Scrapy中，XPATH常用于从HTML文档中提取数据。通过使用XPATH表达式，可以准确地定位到所需的元素，并提取其中的文本内容。
要仅从后代和自身中提取文本，可以使用以下XPATH表达式：
.//text()这个表达式中的.表示当前节点，//表示选择后代节点。text()函数用于提取节点的文本内容。
举个例子，假设我们要从以下HTML代码中提取所有段落的文本内容：
<html>
<body>
<div>
<p>第一个段落</p>
<p>第二个段落</p>
</div>
<p>第三个段落</p>
</body>
</html>使用Scrapy和XPATH，可以这样提取文本：
import scrapy
class MySpider(scrapy.Spider):
name = 'example'
start_urls = ['http://example.com']
def parse(self, response):
paragraphs = response.xpath('.//p/text()').getall()
for paragraph in paragraphs:
print(paragraph)上述代码中，response.xpath('.//p/text()').getall()使用了XPATH表达式.//p/text()来选择所有<p>标签的后代文本节点，并使用getall()方法提取所有文本内容。
推荐的腾讯云相关产品：腾讯云爬虫托管服务（https://cloud.tencent.com/product/sps）
以上是关于Scrapy和XPATH如何仅从后代和自身中提取文本的完善且全面的答案。
相关·内容
<em>2.3</em> </div>
</main> 我现在想从所有节点中提取所有文本，而是尝试使用Scrapy中的几个步骤，例如： divs = response.xpath("//div[contains(@class
浏览 16提问于2019-02-25得票数 0
回答已采纳
1回答
我开始学习xpath和python scrapy。到目前为止，我已经学习了这些two.But的基础知识，现在我需要知道如何定义有效的xpath选择器，以及在scrapy和xpath.Is中的一些最佳实践。有什么好的web资源可以帮助我吗？
浏览 2提问于2014-11-17得票数 0
3回答
我正在使用Scrapy爬行一些网页。我想编写一个XPath查询，该查询将在父<div>中向任何子<a>节点追加几个文本字符，同时通常提取div的self节点的文本。本质上，它就像一个普通的descendant-or-self或//查询，只是用|编写并调用后代上的concat函数(如果存在，则是<a>标记)。这些都返回一个值：
my_div.xpath('div[@class=&quo
浏览 3提问于2016-10-04得票数 0
回答已采纳
2回答
我使用Python和Xpath来刮Reddit。目前我正在头版工作。我试图从它的头版中提取链接，并在shell中显示它们的标题。我的问题是:如何从<a> ABC </a>属性中提取文本。我要绳子"ABC“。我找不到它。我试过以下的表达方式，但似乎不起作用。response.xpath</
浏览 6提问于2014-11-23得票数 0
回答已采纳
1回答
粘贴链接在这里：，您可以看到我在cmd行中得到了什么。我确信正在搜索的关键字在这些链接中，因为我也尝试过其他单词，但它没有下载它们。import scrapy
from scrapy.http import Request
from FinalSpider.itemsitems.py
starting_number = 60000
number_of
浏览 2提问于2015-11-30得票数 0
回答已采纳
因此，我试图学习刮刮和学习项目，我想刮这个网站的项目名称(仅从一个类别自动取款机) ，然后输入那些项目网址和抓取描述文本。我已经得到了一些关于编写2只蜘蛛的建议，但我不知道如何在解析方法中从变量中获取数据，从第一个蜘蛛到第二个蜘蛛来填充start_urls。我现在在这里：
浏览 1提问于2020-09-07得票数 1
回答已采纳
1回答
我正在构建一个遍历多个分页页面并从站点提取数据的爬虫：# -*- coding: utf-8 -*-from scrapy.contrib.spidersUsnewsItem
name = "universities" yield i
浏览 0提问于2016-05-12得票数 0
1回答
我刚刚开始使用XPath进行html抓取，所以我对语法有点困惑。我试图从以下源代码片段中提取url：from scrapy.spider import BaseSpiderKeyE
浏览 2提问于2017-06-25得票数 1
回答已采纳
1回答
我正在使用scrapy并尝试使用xpath提取锚标记中的文本。例如，锚标记有一个名为test的类。示例：这就是我目前所拥有的：//a[@class="test"]/
我如何使用锚标签和类来获取这里的文本？
浏览 0提问于2018-01-22得票数 0
你好，我刚开始使用web抓取和X路径，我在ID main中的scrapy (python框架)中使用了以下x路径，如何修改xpath以不收集“脚本”和“样式”中的文本？my_list=response.xpath('//*[@id="main"]//text()').extract()
在网上搜索后，我发现我可以使用|放置多个x路径(在我的例子中<
浏览 1提问于2019-12-02得票数 1
回答已采纳
1回答
我对scrapy和XPath很陌生，但用Python编程已经有一段时间了。我希望使用scrapy从页面email、name of the person making the offer和phone中获取https://www.germanystartupjobs.com/job正如您所看到的，电子邮件和电话是在<p>标签中作为文本提供的，因此很难提取。现在，我尝试从div j
浏览 5提问于2016-12-16得票数 1
回答已采纳
我正试图在亚马逊上构建一条关于“与此项目相关的赞助产品”的规则，但是，每个产品的ASIN都嵌入到xpath //ol/li/div/@data-asin中，我希望从其中生成以下链接格式f"https://www.amazon.com/dp/{ASIN} (对于与此项目相关的赞助产品中的每一项)
scrapy shell https://www.amazon.com/gp/product
浏览 0提问于2019-07-25得票数 0
回答已采纳
1回答
下面是我到目前为止掌握的代码： hxs = scrapy.Selector(response) all_links = hxs.xpath('*//a/@href').extract()
for link in
浏览 1提问于2017-01-20得票数 0
回答已采纳
使用刮伤外壳时：并试图提取网址的标题：我得到：当我运行我的爬虫时，我在postgresql数据库中得到以下信息：
{“Analysis & Opinion |
浏览 1提问于2014-10-27得票数 0
回答已采纳
我试图使用Scrapy从p中提取和清除一些包含内联图标和其他标记的文本。特别是，我希望用从图像src属性中提取的文本替换图像标记：text = '''
<p id="1"><b><br></b>For我可以使用以下方法从src中提取文本
浏览 1提问于2018-06-28得票数 0
回答已采纳
我需要从父标记div节点(不包括其子节点)提取以下文本：
//div[@id='blurb']/*[not(@id='tell-me-more')]
如何编写xp
浏览 0提问于2017-05-27得票数 0
2回答
我想使用xpath从下面提取url。url一直在变化，但文本"Url“和div类始终是相同的。是否可以仅从文本" url“中提取Url，而文本Url不在<a>中？
浏览 0提问于2017-07-28得票数 0
回答已采纳
1回答
from scrapy.spider import BaseSpiderfrom sample3.items import taamaaItemstore-directory/"]
sel = Selector(response) list1 = []
浏览 2提问于2013-12-30得票数 0
我正在尝试为数据项构建xpath结构，我希望从一个站点的数百页中提取所有格式化相同的数据项。一个示例站点是Sativa_item_price_quarter=scrapy.Field()Edi
浏览 0提问于2015-06-10得票数 0
回答已采纳
1回答
例如，我想为客场队(464)拉出总码，当检查元素和复制XPath生成时但当我跑//*[@id="team_stats"]
xpath什么也不返回。任何
浏览 3提问于2016-08-05得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
