Python Scrapy抓取特定div中的所有div，并从每个div获取链接
Python Scrapy是一个强大的网络爬虫框架，用于从网页中提取数据。它基于Python语言开发，具有简单易用、高效稳定的特点。
要抓取特定div中的所有div，并从每个div获取链接，可以按照以下步骤进行：
- 安装Scrapy：在命令行中运行
pip install scrapy，即可安装Scrapy框架。 - 创建Scrapy项目：在命令行中运行
scrapy startproject project_name，其中project_name是你的项目名称。 - 创建Spider：进入项目目录，运行
scrapy genspider spider_name website.com，其中spider_name是你的爬虫名称，website.com是你要爬取的网站域名。 - 编写Spider代码：打开生成的爬虫文件，一般在
spiders目录下，使用Python代码编写爬虫逻辑。 - 编写Spider代码：打开生成的爬虫文件，一般在
spiders目录下，使用Python代码编写爬虫逻辑。 - 在上述代码中，
response.css('div')用于获取所有div元素，div.css('a::attr(href)').get()用于获取div中的链接。 - 运行爬虫：在命令行中运行
scrapy crawl spider_name -o output.json，其中spider_name是你的爬虫名称，output.json是保存结果的文件名。 - 运行后，Scrapy将会抓取特定div中的所有div，并从每个div获取链接，并将结果保存到
output.json文件中。
Scrapy的优势在于其高度可定制化和灵活性，可以通过编写Spider代码来满足各种需求。它适用于各种场景，如数据采集、搜索引擎、数据挖掘等。
腾讯云提供了云计算相关的产品和服务，其中与爬虫相关的产品是腾讯云的CDN（内容分发网络）和COS（对象存储）。CDN可以加速网站访问，提高爬取效率；COS可以用于存储爬取的数据。你可以通过以下链接了解更多关于腾讯云CDN和COS的信息：
- 腾讯云CDN产品介绍：https://cloud.tencent.com/product/cdn
- 腾讯云COS产品介绍：https://cloud.tencent.com/product/cos
相关·内容
我正在报废一个网站，其中有一个特定的div的div列表或集合。所以我正在尝试从每个div中获取链接。我需要遍历它吗？<div class="a">
<div class = "b"><div><a></a></div</em
浏览 54提问于2019-02-07得票数 0
1回答
抓取提取的链接
、、、
我需要爬行一个网站，并在一个特定的xpath上从该站点上抓取每个url。：我需要爬行"“，它在容器中有10个链接(xpath(”//div@class=‘窗格-content’))，我需要抓取所有这10个链接并从中提取图像，但是"“中的链接看起来像"”。到目前为止我拥有的是：
import scrapy</
浏览 2提问于2015-10-24得票数 3
回答已采纳
我已经搜索并介绍了python中的一些网络爬行库，比如scrapy，漂亮汤等。使用这些库，我想抓取文档中特定标题下的所有文本。如果你们中的任何人能帮助我，我将不胜感激。我看过一些教程，教你如何使用漂亮的soap获取特定类名下的链接(通过查看源页面选项)，但如何获取简单的文本，
浏览 0提问于2017-10-25得票数 0
我正在尝试使用web抓取从网页中获取URL或href，特别是使用Scrapy。但是，当I response.xpath('XPATH').extract() href链接时，它返回一个空列表。我尝试获取的特定HTML元素href是：<a href="#2020-38970" class="redNoticeItem__labelLink" data-singleurl="htt
浏览 27提问于2020-06-11得票数 0
回答已采纳
1回答
所有页面都以同样的方式链接在主页上。index.html<div class="one"><p>Text</p><a href="1.html">Link 1</a&
浏览 2提问于2014-04-09得票数 2
2回答
为刮伤设置页数限制
、、、
我正在抓取，您可以看到有体裁部分，我想作为一个csv返回到最初的18页，在显式体裁之前停止，，我怎么能这样做呢？这是我的密码import scrapy link = scrapy.Field()
class LinkListsSpider(scrapy.Spi
浏览 4提问于2022-05-14得票数 0
1回答
使用Scrapy解析文档
、、、
我有一个问题，我想解析一个网站，并从它抓取每个文章的链接，但问题是Scrapy没有抓取所有的链接和抓取其中的一些随机次数。callback=self.parse_article)
for art in response.xpath("//divclass G
浏览 3提问于2016-02-03得票数 0
我正在尝试用scrapy和xpath从python的网页中抓取一些链接，但是我想抓取的元素是介于：：they和::after之间的，所以xpath看不到它们，因为它们不存在于HTML中，而是用javascript动态创建的。::before&
浏览 2提问于2018-09-12得票数 2
2回答
我试图抓取所有的链接与一个特定的div标签，我可以完成。问题是每个链接都显示在一个新的行中。例如：Crimped这个是可能的吗？下面是我用来获取数据的python代码：
for crumbs in soup.find('div&
浏览 4提问于2016-03-16得票数 1
回答已采纳
2回答
从从主页提取的新页面中提取文本
、、、、
我正在尝试从我从“主页”中提取出来的链接中获取文本。我希望你能理解我的意思，如果不问我，我会尽量解释得更详细。编辑:
因此，我阅读了更多关于scrapy的内容，并找到了这个页面-- ，我阅读了"SitemapSpider“，我认为这
浏览 4提问于2013-12-04得票数 1
回答已采纳
我使用下面的代码来抓取页面上的多个链接，并从每个相应的链接中获取数据列表： name = "quotesstart_urls = ['http://www.website.com']
浏览 5提问于2017-07-12得票数 0
回答已采纳
我正在尝试使用python中的scrapy来抓取Feature，但是它提供了“None”--事实上，我已经尝试了3到4种方法来抓取，但是它们不起作用。请任何人帮助我，为什么我的代码没有给出源链接的图像，谢谢提前。 name = "cruisefever"
def start_requests(self):
浏览 3提问于2022-10-15得票数 -1
回答已采纳
1回答
伙计们，我想从上抓取一切都好，我抓取它的成功import datetimeimport socket
浏览 1提问于2016-07-25得票数 0
回答已采纳
1回答
我试图通过抓取创建一个蜘蛛爬一个网站，并提取特定商店的所有链接。最终，蜘蛛将使用这些商店链接来提取定价信息。该网站旨在将存储信息细分为各州和地区。我已经能够提取各州/地区的所有子链接，但我似乎无法提取商店的具体信息，这些信息就是商店链接。
我认为这与页面加载的时间不够长，无法显示那些商店链接有关。因此，我使用selenium，并将时间延迟了20秒，以便为
浏览 0提问于2015-05-27得票数 2
回答已采纳
2回答
我是新手，刮刮和需要刮一些数据集的数据挖掘项目。我要刮"“。跟踪每个链接并提取数据。我编写了一个使用xpth和css.But获取数据的工作抓取器，我在页面中看到了这个元素，它使用javascript来填充一个选项卡式表。xpath对于每个tab.So都是相同的，不能为单个选项卡提取数据，并从每个选项卡中获取数据存量增益百分比。
我可以从xpath和css中</em
浏览 6提问于2017-04-21得票数 1
回答已采纳
我正在尝试从一个“行为/用户交易”网站上搜集数据，它是意大利语的，所以我会尽可能地说清楚。我也是Python和Scrapy的新手，这是我的第一个项目。o=2等)，每个页面有X个链接(我还没有统计过它们)，当你在一个拍卖页面上(来自列表页面，所以你可以使用“下一页”按钮)，你点击“下一页”，你就遵循了链接在一般列表中的顺序。更清楚地说，如果通用列表有200k个页面，每个页面有50个链
浏览 11提问于2020-09-03得票数 0
回答已采纳
1回答
抓取爬行器递归解析数据
、、、、
我用python编写了一个脚本来解析来自网站的不同产品的“名称”和“价格”。它首先从主页面的上边栏中抓取不同类别的链接，然后跟踪每个类别并到达它们的页面，然后从那里解析不同子类别的链接，最后到达目标页面并从那里解析上述数据。我试着把整件事做得与传统的方法略有不同，在传统方法中，有必要制定规则。然而，我使用我在这里应用的逻辑，让它按照我预期的方式工
浏览 0提问于2017-08-05得票数 2
回答已采纳
1回答
我的settings.py看起来像：NEWSPIDER_MODULE =但是我无法写出正确的蜘蛛来获取图像。我能够抓取图像URL，但不知道如何使用imagePipeline存储图像。我的蜘蛛看起来：import scrapy
import datet
浏览 2提问于2016-09-28得票数 4
回答已采纳
1回答
我对scrapy和XPath很陌生，但用Python编程已经有一段时间了。我的想法是首先在Job Overview中获取文本，或者至少在所有讨论各自任务的文本中使用ReGex来获取email、phone number，如果可能的话，获取name of the person。/启动了response，并从那里获取了response。现在，我尝试从div job_descri
浏览 5提问于2016-12-16得票数 1
回答已采纳
我正在使用scrapy shell抓取这个站点的子类别部分中的所有链接：。="subcategories-div"]属性的div元素，所以我从那里缩小范围，直到找到链接的href。当我在Chrome中搜索这个Xpath时，这是有效的。但是当我跑的时候
response.xpath('/&#
浏览 1提问于2016-08-01得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
