腾讯云

开发者社区

文档建议反馈控制台

首页

文章/答案/技术大牛

发布

社区首页 >问答首页 >如何在Scrapy中使用xpath抓取没有类或属性的标记？

问如何在Scrapy中使用xpath抓取没有类或属性的标记？
EN

Stack Overflow用户

提问于 2021-03-17 04:56:19

回答 1查看 40关注 0票数 1

我正在尝试抓取一个html文件，但是标签没有任何class或id。有没有办法在不使用常规的'//*class="blah"/‘格式的情况下获得xpath？

scrapy

web-crawler

html

xpath

有奖征集｜云上CPU玩转AIGC挑战赛

参加活动赢取洛斐键盘、小米电纸书、智能音响等鹅厂周边！

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-03-17 05:15:01

似乎有一个只使用标签的选项，但如果您想查看特定元素，则需要知道特定标签的索引

shell中的ex

response.xpath('//html/body/table[1]')

如果body标记内有多个具有table标记的元素，则1将指定第一个table标记(xpath从1开始计数)

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/66667198

复制

Scrapy中Xpath的使用

html scrapy href xpath 对象

请注意，本文编写于 990 天前，最后修改于 990 天前，其中某些信息可能已经过时。

曼亚灿

2023/05/17

9170

Scrapy框架中的xpath选择

xslt & xpath 正则表达式 scrapy

不同于我们普通爬虫获取xpath,scrapy获得xpath对象获取他的值语法一.xpath对象获取值 xpath对象..extract() 二.Scrapy框架独有的xpath取值方式利用hre

小小咸鱼YwY

2020/06/19

9910

关于scrapy中scrapy.Request中的属性

html 编程算法

填写的参数:响应返回的回调函数(必须是类当中或者父类当中的方法),默认为parse方法

小小咸鱼YwY

2020/06/19

6570

精通Python爬虫框架Scrapy_php爬虫框架哪个好用

python ide 数据库

讲解Scrapy框架之前，为了让读者更明白Scrapy，我会贴一些网站的图片和代码。但是，【注意！！！】【以下网站图片和代码仅供展示！！如果大家需要练习，请自己再找别的网站练习。】【尤其是政府网站，千万不能碰哦！】

全栈程序员站长

2022/11/01

1.2K0

Python爬虫之scrapy的入门使用

scrapy 爬虫 php python bash

命令: sudo apt-get install scrapy 或者： pip/pip3 install scrapy

海仔

2020/09/28

9330

使用scrapy抓取股票代码

python

源码地址：https://github.com/geeeeeeeek/scrapy_stock

西门吹雪1997

2023/07/12

2160

使用scrapy抓取股票代码

爬虫 http scrapy https 网络安全

源码地址：https://github.com/geeeeeeeek/scrapy_stock

西门吹雪1997

2019/02/26

9400

Scrapy从入门到放弃1--开发流程

爬虫 php bash scrapy

允许爬取的域名: 为对于爬虫设置的爬取范围，设置之后用于过滤要爬取的url，如果爬取的url与允许的域不通则被过滤掉。

北山啦

2022/11/27

8670

Scrapy框架

scrapy 爬虫 xslt & xpath php

简单网页的爬取可以利用re模块，复杂网页的爬取对于内容的提取则会显得十分麻烦。Scrapy框架是python下的一个爬虫框架，因为它足够简单方便受到人们的青睐。

爱编程的小明

2022/09/05

4620

使用Scrapy从HTML标签中提取数据

scrapy html 数据挖掘

Scrapy是一个用于创建Web爬虫应用的Python框架。它提供了相关编程接口，可以通过识别新链接来抓取Web数据，并可以从下载的内容中提取结构化数据。

PantaZheng

2018/09/17

10.2K0

爬虫框架Scrapy的第一个爬虫示例入门教程

python scrapy

豌豆贴心提醒，本文阅读时间8分钟我们使用dmoz.org这个网站来作为小抓抓一展身手的对象。首先先要回答一个问题。问：把网站装进爬虫里，总共分几步？答案很简单，四步：新建项目 (Project)：新建一个新的爬虫项目明确目标（Items）：明确你想要抓取的目标制作爬虫（Spider）：制作爬虫开始爬取网页存储内容（Pipeline）：设计管道存储爬取内容好的，基本流程既然确定了，那接下来就一步一步的完成就可以了。 1.新建项目（Project）在空目录下按住Shift键右击，选择

小小科

2018/05/03

1.2K0

Scrapy爬虫轻松抓取网站数据(以bbs为例,提供源码)

scrapy 爬虫数据挖掘

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。　　其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，

机器学习AI算法工程

2018/03/12

2.4K0

《Learning Scrapy》（中文版）第3章爬虫基础

scrapy 爬虫 python

本章非常重要，你可能需要读几遍，或是从中查找解决问题的方法。我们会从如何安装Scrapy讲起，然后在案例中讲解如何编写爬虫。开始之前，说几个注意事项。因为我们马上要进入有趣的编程部分，使用本书中的代码段会十分重要。当你看到： $ echo hello world hello world 是要让你在终端中输入echo hello world（忽略$），第二行是看到结果。当你看到： >>> print 'hi' hi 是让你在Python或Scrapy界面进行输入（忽略>>>）。同样的，第二行是输出结果。

SeanCheney

2018/04/24

3.2K0

开源python网络爬虫框架Scrapy

php 爬虫搜索引擎 xslt & xpath 数据处理

所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。不过由于一个网站的网页很多，而我们又不可能事先知道所有网页的URL地址，所以，如何保证我们抓取到了网站的所有HTML页面就是一个有待考究的问题了。

py3study

2020/01/07

1.8K0

007：Scrapy核心架构和高级运用

scrapy python http 数据处理爬虫

Scrapy核心架构和其组件的功能 Scrapy的工作流 Scrapy的中文输出储存介绍CrawSpider 编写了一个爬虫实战来进行我们的mysql数据库操作

李玺

2021/11/22

1.2K0

scrapy的入门使用

爬虫 scrapy 对象入门数据

请注意，本文编写于 1724 天前，最后修改于 993 天前，其中某些信息可能已经过时。

曼亚灿

2023/05/17

6850

(原创)七夜在线音乐台开发第三弹爬虫篇

爬虫 dns 存储

上一篇咱们讲到了七夜音乐台的需求和所需要的技术。咱们今天就讲一下爬虫，为什么要讲爬虫，因为音乐台的数据源需要通过爬虫来获取，不可能手动来下载。下图是一个网络爬虫的基本框架: 网络爬虫的基本工作流程如下

七夜安全博客

2018/06/26

1.1K0

python爬虫全解

java https 网络安全

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/155881.html原文链接：https://javaforall.cn

全栈程序员站长

2022/09/06

1.6K0

Scrapy爬虫入门

scrapy 爬虫 python 黑客

快两周了，还没缓过来劲，python 黑帽的系列教程今天才开始捡起来。不过工作又要忙了，晚上照顾玄小魂，白天敲代码，抽时间写文章，真的有点心力交瘁。不过没关系，一切都会好起来的。 ---------------------------------------------------------------------------------------------------- 本篇文章，是转载过来的，Python黑客编程的后续课程也会详细讨论Scrapy的使用的。原文链接：http://chenqx.

用户1631416

2018/04/12

1.2K0

jar中没有主清单属性啥意思啊_eclipse 找不到或无法加载主类

spring boot spring jar java linux

今天新写的SpringBoot项目打jar包部署的时候遇到一个问题，xxx.jar包中没有主清单属性。如下图所示：

全栈程序员站长

2022/10/03

2.1K0

相似问题

使用Scrapy抓取特定类或样式中的h2标记

128

使用Scrapy和Xpath抓取数据

在Scrapy中使用Xpath进行抓取

118

使用Scrapy获取XPath属性

使用类(Scrapy)查找锚标记内的文本的Xpath

114

活动推荐

即时通信IM，低门槛快速接入

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例