如何为scrapy编写css选择器？
为Scrapy编写CSS选择器可以通过以下步骤进行：
- 确定目标元素：首先，需要确定要提取数据的目标元素。可以通过查看网页源代码或使用开发者工具来定位目标元素的HTML标签和属性。
- 了解CSS选择器语法：CSS选择器是一种用于选择HTML元素的语法。它可以根据元素的标签名、类名、ID、属性等进行选择。熟悉CSS选择器的语法可以帮助我们准确地定位目标元素。
- 使用Scrapy的Selector对象：Scrapy提供了Selector对象来进行HTML解析和数据提取。可以使用Selector对象的css()方法来使用CSS选择器进行元素选择。
- 编写CSS选择器：根据目标元素的特征，编写相应的CSS选择器。可以根据元素的标签名、类名、ID、属性等进行选择。可以使用常见的CSS选择器语法，如标签选择器、类选择器、ID选择器、属性选择器、层级选择器、子元素选择器等。
- 提取数据：使用编写的CSS选择器进行元素选择后，可以使用Selector对象的extract()方法来提取数据。提取的数据可以进一步进行处理或保存。
以下是一个示例，演示如何为Scrapy编写CSS选择器：
假设我们要从一个网页中提取新闻标题和链接，该网页的HTML代码如下：
<div class="news">
<h2 class="title"><a href="https://example.com/news1">News 1</a></h2>
<h2 class="title"><a href="https://example.com/news2">News 2</a></h2>
<h2 class="title"><a href="https://example.com/news3">News 3</a></h2>
</div>我们可以使用以下CSS选择器来选择新闻标题和链接：
- 新闻标题的CSS选择器：
.news .title - 新闻链接的CSS选择器：
.news .title a
在Scrapy中，可以这样编写代码来提取数据：
from scrapy import Selector
html = '''
<div class="news">
<h2 class="title"><a href="https://example.com/news1">News 1</a></h2>
<h2 class="title"><a href="https://example.com/news2">News 2</a></h2>
<h2 class="title"><a href="https://example.com/news3">News 3</a></h2>
</div>
'''
selector = Selector(text=html)
titles = selector.css('.news .title::text').extract()
links = selector.css('.news .title a::attr(href)').extract()
print(titles) # 输出：['News 1', 'News 2', 'News 3']
print(links) # 输出：['https://example.com/news1', 'https://example.com/news2', 'https://example.com/news3']在上面的代码中，我们使用了.news .title::text选择器来选择新闻标题的文本内容，使用.news .title a::attr(href)选择器来选择新闻链接的href属性值。
请注意，上述示例中的选择器仅供参考，实际选择器的编写需要根据具体的HTML结构进行调整。
相关·内容
tier1" aria-label="Personal Care" data-reactid="17">Personal Care</a>
</li> 我想在li标签下有href标签的css选择器，即隐形眼镜，美容和个人护理。
浏览 27提问于2020-06-24得票数 0
可能重复：
我在CSS中尝试使用下面的选择器。.ui-content:not(#ui-container > .ui-content) {}
但它在jquery (如$('.ui-content:not(#ui-container
浏览 6提问于2012-11-06得票数 2
回答已采纳
2回答
<p> more text </p> <p> text again </p></div>
我使用这个选择器
浏览 6提问于2016-11-13得票数 0
回答已采纳
1回答
我正在努力刮这个，并且我很难理解css选择器与Scrapy一起工作。css css：.css-truncate-target .messagetime-agoimport scrapy
class QuotesSpi
浏览 3提问于2017-12-03得票数 1
回答已采纳
1回答
谁能帮我找出如何从这个用Scrapy抓取的page中提取链接？ 我已经按如下方式修改了爬行器代码，但我正在努力弄清楚如何使用Scrapy选择器来只生成我想要的链接。import scrapy
name = "RMW"
浏览 15提问于2020-01-10得票数 0
回答已采纳
1回答
抓取xpath如何使用？
、、、
伙计们，我有一个问题，scrapy，选择器，XPath我想选择HTML中最后一个"li“标记中的"a”标记中的链接，以及如何为XPath编写查询。我这样做了，但我相信有更简单的方法可以做到这一点，例如使用XPath查询，不使用列表碎片，但我不知道如何编写
sel = Selector(text
浏览 6提问于2017-07-07得票数 0
回答已采纳
像title said一样，在Scrapy中有没有更好的XPath选择器，可以用来轻松地选择html中的数据？我发现XPath有很高的学习曲线，它的语法有点难以使用。我觉得如果jQuery选择器可以在Scrapy中使用或合并，它可以让生活变得更容易。
浏览 0提问于2014-12-17得票数 0
Chrome的检测工具将CSS选择器复制到第n个子级--这是bs4不支持的。是否有浏览器，浏览器或应用程序的附加组件来复制CSS选择器中的第n个类型的伪类？
浏览 12提问于2018-12-14得票数 1
1回答
我正在考虑使用ItemLoaders of scrapy来消除这可能产生的丑陋代码。要达到这些元素，可以使用以下选择器：element_one = main_element.css('css_to_one()其想法是，它随后被传递到项中：
class MyItem(sc
浏览 3提问于2022-01-21得票数 0
回答已采纳
1回答
使用Scrapy，我如何使用LinkExtractor，它只在下面的链接中提取特定的CSS？看起来我可以使用XPath，但我更喜欢使用CSS选择器。我是否需要编写一个自定义的LinkExtractor来使用CSS选择器？
浏览 5提问于2015-06-17得票数 1
回答已采纳
2回答
我对Scrapy、Python和面向对象编程比较陌生，所以如果我遇到任何术语错误或不清楚的地方，我深表歉意。我在下面添加了一些代码来说明我的观点。def p
浏览 2提问于2015-07-19得票数 6
1回答
我使用了这个： sel = Selector(response) for cam in cams:我想我已经使用了正确的css选择器，但是我得到了空的结果。
浏览 2提问于2014-02-05得票数 7
回答已采纳
我想要获取href值： <a href="https://www.example.com"></a>我试过这个：
Link = Link1.css
浏览 4提问于2014-01-17得票数 46
回答已采纳
2回答
抓取有多个类的div？
、、、、
我正试着在课堂上抓到div：“产品”。问题是，有些div与类“产品”也有类“产品-小”。因此，当我使用xpath('//div[@class='product']')时，它只捕获一个类而不是多个类的div。我怎么才能用刮痕做这件事？
浏览 0提问于2015-01-25得票数 12
回答已采纳
1回答
我正在尝试用Scrapy编写一个爬行器，理想情况下，如果所述URL(s)包含我将在print response.css(".class")中定义的某个类，它将从站点返回URL列表，但我不确定这是否可能，我已经看过了关于如何用Scrapy编写爬虫的指南，我让它使用一个不同的类返回一个选择器列表，无论用户是否登录，我都知道这个类在页面上，只是为了测试我没有写错。import scrapy
class TestSpider(scrapy</em
浏览 4提问于2019-07-17得票数 1
回答已采纳
我使用Scrapy从网站的第一页抓取信息，并将数据导出为.csv文件，如下所示：我想要获得form的输出：{[all 'Title' data], [all 'Text' data]}import scrapyimport re
from scrapy</e
浏览 1提问于2015-10-19得票数 0
我对还不熟悉，到目前为止，我还需要这样做： name = 'example' for sku in self.skus:
yield scrapy.Requestwww.flashfurniture.com', '
浏览 3提问于2017-12-18得票数 0
我正在使用scrapy在twitter上提取用户信息，但我目前在使用python提取以下内容、追随者计数等方面遇到了问题。
浏览 0提问于2018-02-22得票数 2
1回答
我正在尝试获取预算使用scrapy实现它的css选择器。当我使用xpath时，我可以得到它，但是对于css选择器，我就迷路了。我已经尝试过了：我使用css选择器得到的输出：预期输出：html的相关部分：
浏览 16提问于2020-08-06得票数 0
最佳结果将是一个选择器，它提取710家公司()的所有相关信息。
In(1)：response.css("#adminForm > table > tbody&q
浏览 2提问于2020-04-04得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
