在Scrapy中获取选择器的子项
，可以使用css或xpath选择器语法来获取元素的子元素。
使用css选择器语法获取子项的方法是在父级元素选择器后面加上空格再加上子项的选择器。例如，假设我们要获取一个<ul>元素下的所有<li>元素，可以使用以下代码：
# 使用css选择器获取子项
items = response.css('ul li')使用xpath选择器语法获取子项的方法是在父级元素选择器后面加上/再加上子项的选择器。例如，假设我们要获取一个<ul>元素下的所有<li>元素，可以使用以下代码：
# 使用xpath选择器获取子项
items = response.xpath('//ul/li')以上代码中，response是Scrapy框架中的响应对象，通过发送请求后获取的网页内容。css()和xpath()方法用于对网页内容进行选择器匹配，返回的是一个元素列表。
通过获取选择器的子项，我们可以进一步对子项进行处理和提取数据。例如，可以获取子项中的文本内容、属性值等。
Scrapy是一个基于Python的开源网络爬虫框架，适用于数据挖掘、数据采集等应用场景。它提供了强大的选择器和数据提取功能，使得开发者可以快速、高效地从网页中提取所需数据。
对于Scrapy相关的腾讯云产品推荐，可以使用腾讯云的云服务器（CVM）来部署Scrapy爬虫，使用对象存储（COS）存储爬取的数据，使用云数据库（TencentDB）存储数据，使用负载均衡（CLB）提供高可用性和负载均衡能力，使用内容分发网络（CDN）加速网页访问等。具体产品介绍和更多详情，请参考腾讯云官方文档：腾讯云产品。
相关·内容
我使用Scrapy从网站的第一页抓取信息，并将数据导出为.csv文件，如下所示：
scrapy crawl spidername -o data.csv
我想要获得form的输出：
{'Title': [u'Message'],
'Link': [u'url'],
'Text': [u'Hello World']}
{...........
.....} etc
但相反，我在一个{}中获得了所有内容，即
{[all 'Title' data],
[all 'Link&
浏览 1提问于2015-10-19得票数 0
我正在尝试从下面的标签中抓取“"Brick Bank”“
<a href="/sets/10251-1/Brick-Bank"><span>10251: </span> Brick Bank</a>
下面是我的Scrapy Spider对象:导入scrapy
class SpiderSpider(scrapy.Spider): #we take the Spider class provided by Scrapy and make a subclass out of it called BrickSetSpider.
浏览 4提问于2018-08-21得票数 0
在我的控制台上运行“抓取爬行newegg”时，我会碰到“爬行0页(0页/分钟)，刮0项(0项/分钟)”。我已经尝试过查找许多修复程序，但它们都没有起作用。任何帮助都很感谢，谢谢。
# web scrapes newegg page for product price
import scrapy
class NeweggSpider(scrapy.Spider):
name = 'newegg'
start_urls = [
'https://www.newegg.com/team-32gb-288-pin-ddr4-sdram/p/N8
浏览 8提问于2022-08-29得票数 0
1回答
Python3抓取网爬虫
、、、、
对于我的工作，我必须写一个爬虫，它只保存页面的标题，交付状态和产品的数量。
以下是我的默认蜘蛛代码：
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
def start_requests(self):
urls = [
'https://www.topart-online.com/de/Ahorn-japan.%2C-70cm%2C--36-Blaetter----Herbst/c-KAT282/a-150001HE'
浏览 2提问于2020-07-20得票数 0
回答已采纳
我有一些Python代码，它使用scrapy抓取bbcode论坛，我需要一个Xpath表达式，它只给我文章的文本，不包括引号中的文本。HTML如下所示：
<td class="postbody">
hi this is a response
<div class="bbc-block">
<blockquote>
blah blah blah here's a quote
<br>
</blockquote>
<
浏览 2提问于2016-04-10得票数 3
回答已采纳
我正在尝试抓取nordstrom的产品描述。我获得了所有的项目链接(存储在本地mongodb db中)，现在正在遍历它们，下面是一个示例链接https://www.nordstrom.ca/s/leith-ruched-body-con-tank-dress/5420732?origin=category-personalizedsort&breadcrumb=Home%2FWomen%2FClothing%2FDresses&color=001 我对爬行器的代码是： def parse(self, response):
items = NordstromItem()
浏览 23提问于2020-05-02得票数 0
我是一个非常新的刮痕，在这里我需要一些帮助，在图像url，是在数据-src.这是我的密码..。
from typing import Text
import scrapy
class SeamsSpider(scrapy.Spider):
name = 'seams'
start_urls = [
'https://in.seamsfriendly.com/collections/shorts'
]
def parse(self, response):
title : response.
浏览 3提问于2021-12-17得票数 1
回答已采纳
1回答
我试着用刮scrapy。
我使用了以下xpath选择器，但它们都返回空列表。
当前结果:所有这些返回[]
"//strong"
"//h2"
"//span[@class='cd__headline-text']"
预期结果:
[Headline_1, Headline_2, Headline_3, ...]
有人能帮我找出原因吗？CNN是在做些什么来阻止人们抓取头条新闻吗？
我用Scrapy。
浏览 2提问于2019-12-29得票数 0
回答已采纳
3回答
.find()函数在IE 7及更低版本中运行非常慢，经常导致挂起。
有没有人能给我推荐一个替代方案？
下面是代码片段。
$(".dobAutoTab").each(function() {
var dobFields = $(this).children().find("input");
var fldDate = $(dobFields[0]);
var fldMonth = $(dobFields[1]);
var fldYear = $(dobFields[2]);
)};
浏览 1提问于2012-07-10得票数 3
我正在尝试从https://www.goodreads.com/quotes中提取引文。似乎我只得到了第一页，而下一页部分不起作用。下面是我的代码： import scrapy
class QuotesSpider(scrapy.Spider):
name = 'quotes'
start_urls = [
'http://www.goodreads.com/quotes'
]
def parse(self,response):
for quote in response.xpath(&#
浏览 17提问于2020-03-24得票数 0
回答已采纳
1回答
好吧，我知道为什么，因为没有为next_page变量提取任何内容，但我不确定Im是否正确地使用xpath
import scrapy
from scrapy.selector import HtmlXPathSelector
from scrapy.http.request import Request
class SunBizSpider(scrapy.Spider):
name = 'sunbiz'
start_urls = ['http://search.sunbiz.org/Inquiry/CorporationSearch/SearchResults?in
浏览 1提问于2015-10-28得票数 0
回答已采纳
我的目标是构建一个从的表中提取数据的刮板。
最初，我遵循了，在那里我成功地从测试站点提取数据。当我试图为Bitinfocharts复制它时，第一个问题是我需要使用xpath，本教程没有详细介绍这个问题(它们只使用css )。我已经能够通过shell刮取我想要的具体数据。
我当前的问题是理解如何从我的代码中抓取它们，同时将结果写到.csv / .json文件中？
我可能漏掉了一些很明显的东西。如果你能看看我的代码，让我知道我做错了，我会非常感激的。
谢谢!
第一次尝试：
import scrapy
class RichlistTestItem(scrapy.Item):
#
浏览 0提问于2018-11-03得票数 0
1回答
你好，我试图从下面的代码中抓取一些信息，但不是刮掉website.The输出中的任何信息：
{'BOT_NAME': 'superlig',
'NEWSPIDER_MODULE': 'superlig.spiders',
'REQUEST_FINGERPRINTER_IMPLEMENTATION': '2.7',
'SPIDER_MODULES': ['superlig.spiders'],
'TWISTED_REACTOR': 'tw
浏览 11提问于2022-11-01得票数 0
我正在使用scrapy爬行器，并试图解析输出页以选择某些输入标记参数(类型、id、name )，每个数据类型都被选择到一个项中，以便以后将其存储在数据库中，如下所示：
Database Table_1
╔════════════════╗
║ text ║
╠════════════════╣
║ id │ name ║
╟──────┼─────────╢
║ │ ║
╟──────┼─────────╢
║ │ ║
╚══════╧═════════╝
密码和文件也是一样但是，
我
浏览 4提问于2012-07-02得票数 1
1回答
我是Scrapy的新手，我正在浏览手册。我正在做一些练习，并坚持这些问题。在迭代图书列表时，结果总是在迭代后返回相同的“key: value”对，尽管页面中有20个不同的元素。
这是我的代码：
import scrapy
class MyBooks(scrapy.Spider):
name = 'bookstore'
allowed_domains = ['books.toscrape.com']
start_urls = ['http://books.toscrape.com']
def parse(sel
浏览 0提问于2020-02-07得票数 0
我是新刮，我试图从sephora获得一个产品信息。理想情况下，我想通过所有的护肤品，虽然我有困难在第一阶段。我想弄清楚为什么这没有任何信息？另外，scrapy中的响应参数为我提供我需要的数据。
# -*- coding: utf-8 -*-
import scrapy
class sephora_try_mousturizer(scrapy.Spider):
name = 'sephora_m'
allowed_domains = ['www.sephora.com']
start_urls = ['https://w
浏览 0提问于2018-11-23得票数 0
回答已采纳
我有以下的迷你基本蜘蛛，我使用从一个网站的所有链接。
from scrapy.item import Field, Item
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor
class SampleItem(Item):
link = Field()
class SampleSpider(CrawlSpider):
name = "sample_spider"
allowed_d
浏览 1提问于2014-07-24得票数 0
回答已采纳
在使用Scrapy将HTML下载到我的硬盘后(例如，使用带有字段HTML的内置项目导出器，或者将所有HTML文件存储到一个文件夹中)，我如何使用Scrapy再次从硬盘读取数据并执行管道中的下一步？有没有类似于项目导入器的东西？
浏览 10提问于2017-06-20得票数 0
我刚开始使用scrapy。我正在整理我的动漫排行榜前50名的动漫，并用它做一些事情。
我的爬虫包含以下代码：
import scrapy
class AnimeSpider(scrapy.Spider):
name="animelist"
start_urls=[
'https://myanimelist.net/topanime.php'
]
def parse(self,response):
for anime in response.css('tr.rankinglist
浏览 0提问于2018-11-09得票数 1
3回答
例如：
scrapy shell http://scrapy.org/
content = hxs.select('//*[@id="content"]').extract()[0]
print content
然后，我得到以下原始HTML代码：
<div id="content">
<h2>Welcome to Scrapy</h2>
<h3>What is Scrapy?</h3>
<p>Scrapy is a fast high-level scre
浏览 0提问于2013-07-18得票数 18
回答已采纳
1回答
<div class='1'>
<div class='2'>
<div class='3'>
</div>
</div>
</div>
query('.1').children() // returns [<div class='2'></div>]
可以通过使用query().children()而不是使用类似query('.1 .2 .3')?的方法来访问第三级子级
基本上
浏览 0提问于2014-12-09得票数 0
查看Twitter: www.twitter.com/twitter
你会看到追随者的数量显示为5790万，但如果你悬停在这个值之上，你就会看到追随者的确切数量。
在来文提交人中，这表现为：
<span class="ProfileNav-value" data-count="57939946" data-is-compact="true">57.9M</span>
当我在Chrome上检查这个跨度时，我使用：
(//ul[@class='ProfileNav-list']/li/a/span[@class
浏览 0提问于2018-10-18得票数 1
回答已采纳
1回答
我在试着运行spyder提取房地产广告信息。
我的代码：
import scrapy
from ..items import RealestateItem
class AddSpider (scrapy.Spider):
name = 'Add'
start_urls = ['https://www.exampleurl.com/2-bedroom-apartment-downtown-4154251/']
def parse(self, response):
items = RealestateItem()
浏览 0提问于2020-10-04得票数 0
我将输出作为连续数据以行形式显示，而不是以正确的记录格式显示(每行一条记录)。
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor
class famousPeopleItem(scrapy.Item):
# define the fields for your item here like:
Name = scrapy.Field()
Profession = scrapy.Field
浏览 5提问于2017-05-10得票数 0
回答已采纳
像title said一样，在Scrapy中有没有更好的XPath选择器，可以用来轻松地选择html中的数据？我发现XPath有很高的学习曲线，它的语法有点难以使用。我觉得如果jQuery选择器可以在Scrapy中使用或合并，它可以让生活变得更容易。
浏览 0提问于2014-12-17得票数 0
这是我的代码。
var template = $("#instance > .template");
$("#instance-" + country + " > .content > .stats > .map > .template").before(function() {
var temp = template.clone();
//how to select descendant?
temp.children(".amount-all").html(json.se
浏览 0提问于2010-11-05得票数 0
回答已采纳
我正试着把这个项目的名字放在这样的字典里：
import scrapy
class TerrorSpider(scrapy.Spider):
name = 'terror'
start_urls = ['http://books.toscrape.com/catalogue/category/books/travel_2/index.html']
def parse(self, response):
for filme in response.css('h3 a'):
yield
浏览 3提问于2022-10-31得票数 0
2回答
我的蜘蛛： import scrapy
class LinkSpider(scrapy.Spider):
name = "page"
start_urls = [
'https://www.topart-online.com/de/Blattzweige-Blatt-und-Bluetenzweige/l-KAT282?seg=1'
]
def parse(self, response):
yield{
'ItemSKU': response.
浏览 9提问于2020-07-27得票数 0
回答已采纳
我有一个问题，当运行蜘蛛。当我抓取它时，它显示的错误是这样的："HTTP状态码未处理“。
2018-08-27 14:30:58 [scrapy.core.engine] DEBUG: Crawled (404) <GET http://id.priceprice.com/harga-hp/%3Ca%20href=%22/harga-hp/?maker=OPPO-182%22%3EOPPO%3C/a%3E> (referer: http://id.priceprice.com/harga-hp/)
2018-08-27 14:30:58 [scrapy.spidermidd
浏览 41提问于2018-08-27得票数 1
回答已采纳
1回答
我刚刚开始使用XPath进行html抓取，所以我对语法有点困惑。我试图从以下源代码片段中提取url：
<a href="/realestateandhomes-detail/15645-SW-74th-Circle-Dr-Apt-5_Miami_FL_33193_M69309-37779">
<img alt="15645 Sw 74th Circle Dr Apt 5, Miami, FL 33193" title="15645 Sw 74th Circle Dr Apt 5, Miami, FL 33193"
浏览 2提问于2017-06-25得票数 1
回答已采纳
2回答
我正在使用scrapy抓取
class QuotesSpider(scrapy.Spider):
name = "tesco"
start_urls = [
'https://www.tesco.com/direct/tv-offer.event?icid=offers_trade_slot1',
]
def parse(self, response):
for quote in response.xpath('//li[contains(@class,"product-tile&
浏览 2提问于2018-04-06得票数 1
1回答
我正在尝试抓取一个使用调用HTML的API的网站，因此为此，我需要抓取API，然后从API抓取HTML结果 我已经使用这篇文章设法获得了API响应，并从中获得了HTML。 resp = json.loads(response.text)
selector= scrapy.Selector(text=resp['results'], type="html") 而且它工作得很好，当我试图从页面获取属性时，我可以使用CSS或Xpath选择器来获取项 我现在要做的就是遍历选择器 for item in selector:
浏览 10提问于2020-12-16得票数 1
我正在尝试使用jupyter notebook运行一个爬虫来获取特定的数据-在这种情况下，结果应该从链接的下拉列表中获取"21个服务“。 我有以下代码： import scrapy
from scrapy.crawler import CrawlerProcess
class DCspider( scrapy.Spider ):
name = "dcspider"
def start_requests( self ):
urls = [ 'https://www.bodybuilding.com/store/alpha-l
浏览 57提问于2020-01-01得票数 0
1回答
我有一个包含多个输入字段的内联网页面，我需要Scrapy使用网页“搜索产品”输入字段进行搜索，它有一个"searchBox“id。
我已经能够锁定正确的搜索框使用Scrapy和Beautiful，但我不知道如何将数据正确地传递回Scrapys表单提交功能。
在方法1中，我尝试将结果简单地作为输入传递给Scrapys FormRequest.from_response函数，但是它不起作用。
方法1-使用Scrapy查找数据
#Search for products
def parse(self, response):
##Let's try search using s
浏览 0提问于2019-03-09得票数 1
我尝试在此页面上使用igaggini的示例，但似乎无法在我的代码中使用它。
我非常确定我有正确的xpath，输出应该是从国家页面抓取的链接的第一个div中的第二段。
这是我的主文件，recursive.py。
from scrapy.spider import BaseSpider
from bathUni.items import BathuniItem
from scrapy.selector import HtmlXPathSelector
from scrapy.http.request import Request
from urlparse import urljoin
clas
浏览 1提问于2014-03-01得票数 2
我正在尝试使用CSS选择器从https://en.wikipedia.org/wiki/List_of_UFC_events中抓取UFC日期。但是，我发现，如果单元格中有任何数据被附加标记(如<b></b>、<a></a>或<p></p> )包围，则数据根本不会被抓取。 我尝试过使用.getall()和.extract_first()，它们都提供了相同的输出。我遗漏了什么？ 对问题进行标记。如何抓取具有特定id的表？ import scrapy
class UFCEVENTSSpider(scrapy.Spider):
浏览 23提问于2020-07-27得票数 0
回答已采纳
我正在实践Playwright和Scrapy的集成，然而，我的刮板只返回一个项目。我不知道我的xpath是不是错了？因为我得到了以下输出：
2022-01-04 21:41:24 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.jobsite.co.uk/jobs/Degree-Accounting-and-Finance>
{'items': 'Up to £26,000 per annum'}
我正试图从一个动态网站中获取薪水，下面是我尝试过的脚本：
import scrapy
浏览 0提问于2022-01-04得票数 0
1回答
Scrapy Vs Nutch
、、、、
我计划在我目前正在开发的一个应用程序中使用网络爬行。我在Nutch上做了一些研究，并使用它进行了一些初步测试。但后来我遇到了scrapy。但是，当我做了一些初步的研究并浏览了有关scrapy的文档时，我发现它只能捕获结构化数据(您必须提供要从中捕获数据的div名称)。我正在开发的应用程序的后端是基于Python的，我知道scrapy是基于Python的，有人建议scrapy比Nutch更好。
我的要求是从1000多个不同的网页中捕获数据，并在information.Is中运行相关关键字搜索，以任何方式scrapy都可以满足相同的要求。
1)如果是，你能举例说明如何做到这一点吗？
2)或Nutc
浏览 0提问于2013-06-20得票数 16
回答已采纳
1回答
我正在抓取
我想转到下一页，当我检查我得到的“下一页”时：
<span class="pagerlink">
<a href="#" id="next" title="Go to the next page">Next</a>
</span>
可以遵循的正确方法是什么？
# -*- coding: utf-8 -*-
import scrapy
import json
from scrapy_splash import SplashRequest
class Manulif
浏览 0提问于2017-10-28得票数 1
我正在尝试在这个上抓取不同的18条船(仅作为开始的第一页)。
但是要这样做，我只需要船的详细信息url，它可以在div.col-6-12.mobile-col-1-1.envItem >文章> data-product-url中找到
为了做到这一点，我执行了以下脚本：
import scrapy
from scrapy.crawler import CrawlerProcess
class QuotesSpider(scrapy.Spider):
name = 'quotes'
def parse(self, response):
浏览 0提问于2020-12-20得票数 0
我已经在10到15个项目中使用了scrapy，并尝试了scrapy的解析器和lxml解析器。
我想知道哪一个是在python中可以使用的最好的解析器(就解析速度而言)。
我试着比较他们的性能，通过测试他们在电子商务网站上为一个类别刮起产品名称。但却找不出速度。1.我使用lxml在scrapy 2内部进行解析。
浏览 0提问于2019-06-14得票数 1
回答已采纳
4回答
我正在尝试使用jquery获取所有下一个html代码，并排除ID= excluding address-info的DIV。我开始使用过滤方法，但没有成功。
这是原始的代码片段。
<div id="fiscal-info" class="content-fields">
<div class="content-title"><h2>Datos Fiscales</h2></div>
<div class="row">...</div>
浏览 0提问于2014-01-28得票数 3
这个蜘蛛文件
从scrapy.spiders导入蜘蛛从scrapy_splash导入SplashRequest从..items导入GameItem
class Splash1Spider(Spider):
name = 'scrapy_splash_1'
start_urls = ['https://www.livescore.bet3000.com']
def start_requests(self):
for url in self.start_urls:
yield SplashRequest
浏览 2提问于2020-11-27得票数 0
我有如下的textarea元素：
<textarea class="additional contactNameInput" id="additional1" name="additional1" placeholder="Additional requests..."></textarea>
然后，在我直接得到HTML之后，如下所示：
<div>
<p>Intro</p>
<p>Additional text: <span class="
浏览 0提问于2018-08-01得票数 1
回答已采纳
我正在构建一个Scrapy爬行器，它接受xpath查询作为输入参数。
我试图抓取的特定页面在价格文本字段中有换行符、换行符和其他字符，我正在使用translate()函数删除它们。
如果显式地包含在代码中，则选择器可以很好地使用translate，但是如果作为参数传递，则translate就不能工作。
这是我的蜘蛛：
import scrapy
from spotlite.items import SpotliteItem
class GenericSpider(scrapy.Spider):
name = "generic"
xpath_string = &#
浏览 5提问于2016-08-03得票数 0
1回答
我有以下情况：
<div class="question">
<div class="post-layout">
<div class="post-text">
<p> Sample Question </p>
</div>
</div>
</div>
和
<div class="answer">
<div class="pos
浏览 19提问于2020-02-16得票数 2
回答已采纳
我想刮一下网站。
我想要提取
标题
位置
公司
发布的职位。
我尝试了很少xpath的位置，公司和头衔，但没有任何工作。我还试图把它写到CSV文件中。所有的位置，公司和头衔都是空白的。我认为我的xpath是不正确的
import scrapy
class JobItem(scrapy.Item):
# Data structure to store the title, company name and location of the job
title = scrapy.Field()
company = scrapy.Field()
浏览 0提问于2019-04-22得票数 0
回答已采纳
我正在尝试抓取黄页，但出现了一个错误，即在“爬虫名称”中没有属性响应。我目前在linux，ubuntu和python 2.7.3上工作。代码如下：
import scrapy
from scrapy.spider import Spider
from scrapy.http import FormRequest, Request
from scrapy.selector import HtmlXPathSelector
class yellowpages(scrapy.Spider):
name = 'yellowpages'
allowed_domains
浏览 1提问于2014-07-07得票数 0
1回答
我正在尝试运行我的抓取爬虫，它没有返回任何错误，但输出了一个空的csv文件
我通过命令行scrapy crawl AnimeReviews -o AnimeReviews.csv -t csv启动爬行器
这是我用过的库
import scrapy
import json
from functools import reduce
from scrapy.selector import Selector
from AnimeReviews.items import AnimereviewsItem
last_page = 1789
这是我的蜘蛛
class AnimeReviewsSpider(s
浏览 0提问于2018-06-22得票数 1
我在跟着走。我的项目涉及解析已经通过Scrapy或wget下载的文件。我知道我可以使用XPath选择器，但是到目前为止，我看到的示例涉及到在Scrapy的解析方法中调用XPath选择器，因此只对Scrapy下载的文件起作用。有没有一种方法可以直接对下载的文件使用XPath？我是Python和Scrapy的新手，所以我找不到在独立的非Scrapy Python脚本中调用XPath的方法。
浏览 2提问于2013-01-13得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
