开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >【分享】影刀使用xpath捕获指定的元素

【分享】影刀使用xpath捕获指定的元素

作者头像

唯一Chat

发布于 2023-10-17 07:17:16

发布于 2023-10-17 07:17:16

6910

举报

文章被收录于专栏：陶士涵的菜地陶士涵的菜地

xpath捕获元素比较精准，前面也介绍了xpath的用法

现在捕获社区里帖子详情页的标题

//*[@class='discuss_detail_header___3LhnQ']/h1

找到class是discuss_detail_header___3LhnQ的子元素h1

获取文章内容

//*[@id='w-e-textarea-1']

找到id是w-e-textarea-1的元素

获取元素的源代码，就可以获取到html内容了

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2023-10-10，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

暂无评论

编辑精选文章

换一批

万字详解高可用架构设计

Go 开发者必备：Protocol Buffers 入门指南

10分钟带你彻底搞懂分布式链路跟踪

多租户的 4 种常用方案

亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？

60页PPT全解：DeepSeek系列论文技术要点整理

博客文章详情页

python 面向对象编程

首页展示的是所有文章的列表，当用户看到感兴趣的文章时，他点击文章的标题或者继续阅读的按钮，应该跳转到文章的详情页面来阅读文章的详细内容。现在让我们来开发博客的详情页面，有了前面的基础，开发流程都是一样的了：首先配置 URL，即把相关的 URL 和视图函数绑定在一起，然后实现视图函数，编写模板并让视图函数渲染模板。设计文章详情页的 URL 回顾一下我们首页视图的 URL，在 blog\urls.py 文件里，我们写了： blog/urls.py from django.conf.urls import u

追梦人物

2018/04/17

1.5K0

Python爬虫，IF奖数据爬虫含完整日志记录系统

最新if奖，2021if奖数据出炉，这里本渣渣继续用python对相关数据进行爬取采集，由于是官方网站，展示用，所以几乎没有任何反爬，当然结余是国外网站，会存在访问超时的错误，综合而言，这无疑是一个比较不错的练手网站，推荐老哥们上手试试，学着玩！

二爷

2021/04/30

4820

Python爬虫，IF奖数据爬虫含完整日志记录系统

H5 App实战二：H5 App的页面结构与导航

腾讯技术创作特训营S10

这篇文章介绍了 Linux 中磁盘分区的概念、常见分区方案以及具体的操作步骤，并附上相应的代码示例，帮助读者深入理解和实践。整体内容全面，步骤清晰，非常适合读者学习和参考。

china马斯克

2024/11/22

2740

使用Scrapy网络爬虫框架小试牛刀

爬虫 xslt & xpath scrapy python

默认情况下,直接pip install scrapy可能会失败,如果没有换源,加上临时源安装试试,这里使用的是清华源，常见安装问题可以参考这个文章：Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程。

Python进阶者

2021/01/12

5370

使用Scrapy网络爬虫框架小试牛刀

利用多线程到电影天堂爬点电影回家慢慢看【python爬虫入门进阶】（05）

php 爬虫 https 网络安全 html

已经好久没有更新爬虫类的文章了，从入门到入狱的好技术怎能不好好学习呢。所以，今天我继续来卷了。本文将从实战的角度介绍一个完整的爬虫。这里以妇孺皆知的电影天堂网站为例进行说明。希望读者朋友们能有所启发，有所收获。

码农飞哥

2021/12/07

8500

利用多线程到电影天堂爬点电影回家慢慢看【python爬虫入门进阶】（05）

爬虫入门到精通-爬虫之异步加载（实战花瓣网）

本文章属于爬虫入门到精通系统教程第八讲本次我们会讲解两个知识点异步加载 headers中的Accept 本次我们要抓取的是花瓣网美女照片美女花瓣，陪你做生活的设计师（发现、采集你喜欢的美女图片）花瓣网（http://huaban.com/favorite/beauty/）本次我们会用到的辅助包 scrapy/parsel （https://github.com/scrapy/parsel）(假如你用过scrapy,那么一定不陌生，这就是其中提取器) Parsel is a library to ext

爬虫

2018/04/08

1.4K0

爬虫入门到精通-爬虫之异步加载（实战花瓣网）

第 08 篇：开发博客文章详情页

html php django 腾讯云开发者社区 ide

首页展示的是所有文章的列表，当用户看到感兴趣的文章时，他点击文章的标题或者继续阅读的按钮，应该跳转到文章的详情页面来阅读文章的详细内容。现在让我们来开发博客的详情页面，有了前面的基础，开发流程都是一样的了：首先配置 URL，即把相关的 URL 和视图函数绑定在一起，然后实现视图函数，编写模板并让视图函数渲染模板。

HelloGitHub

2021/05/14

5080

基于Scrapy的东方财富网爬虫

标题中的英文首字母大写比较规范，但在python实际使用中均为小写。 2018年9月6日笔记 IDE(Intergrated development Environment)，集成开发环境为jupyter notebook和Pycharm 操作系统：Win10 语言及其版本：python3.6

潇洒坤

2018/09/10

1.7K0

基于Scrapy的东方财富网爬虫

Python爬虫基础

xslt & xpath https http 网络安全爬虫

爬虫基础简介 http协议概念: 服务器和客户端进行数据交互的一种形式 user-Agent: 请求载体的身份表示 Connection : 请求完毕后,是断开连接还是保持连接 Content-Type : 服务器相应客户端的数据类型 # user-Agent ( NetWork-All-Headers ) Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638

shaoshaossm

2022/12/26

4250

Python爬虫，pentagram图片及数据采集爬虫

爬虫编程算法 python https

很久没有写爬虫了，随手写了一个爬虫，分享给大家，目标是获取所有图片及数据内容，由于图片存在多张，故简单的采用了多线程来采集下载图片，同时也简单的运用python写入txt构建了一下爬取过程的日志文件，代码写的比较啰嗦，见谅！

二爷

2021/07/05

6430

如何快速爬取新浪新闻并保存到本地

api php 爬虫编程算法 https

这篇文章能够快速教你爬取新浪新闻。希望这篇文章对您有所帮助！如果您有想学习的知识或建议，可以给作者留言~

不温卜火

2020/10/28

5.9K1

如何快速爬取新浪新闻并保存到本地

Python爬虫，WP站图片PY多线程下载爬虫

xslt & xpath 编程算法存储 python

一个简单的Python爬虫，适合学习参考练手使用，由于详情页图片较多，故简单的应用了多线程下载图片，目标站点为WordPress程序，按照流程获取都能成功！

二爷

2021/12/02

5280

Python爬虫，WP站图片PY多线程下载爬虫

（二）selenium的实际运用

xslt & xpath selenium php ide

上一篇我们已经知道怎么简单使用selenium了，那么我们就从这篇博客来动手爬取网站吧。

全栈程序员站长

2021/05/19

6540

手把手教你用Python实现分布式爬虫(四) - scrapy爬取技术文章网站

scrapy xslt & xpath php python 腾讯云开发者社区

搭建scrapy的开发环境，本文介绍scrapy的常用命令以及工程目录结构分析，本文中也会详细的讲解xpath和css选择器的使用。然后通过scrapy提供的spider完成所有文章的爬取。然后详细讲解item以及item loader方式完成具体字段的提取后使用scrapy提供的pipeline分别将数据保存到json文件以及mysql数据库中.

JavaEdge

2019/03/25

1.8K0

pyspider使用教程

爬虫 php python html 存储

pyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。

Remember_Ray

2021/04/05

3.9K0

百度贴吧 | 通用抓图脚本搞专业爬虫的话,先保证网速够好，再考虑多进程还是多线程~

多进程优势:单个进程的崩溃,不会影响其它进程随之而来的问题是,进程之间,资源不共享,信息不共享,所以进程通讯的问题,是实现多进程协作,必须解决的问题为解决进程间的通讯,人们常用的方法是 -

zhaoolee

2018/04/19

8480

百度贴吧 | 通用抓图脚本搞专业爬虫的话,先保证网速够好，再考虑多进程还是多线程~

Selenum获取招聘数据

在这里，Selenium结合lxml来获取51job招聘网站西安地区自动化测试招聘的公司名称，薪资范围，职位要求和招聘的Title，具体实现的思路是访问为：

无涯WuYa

2018/10/24

9690

五、XPath实战：快速定位网页元素

2023腾讯·技术创作特训营第三期

右击鼠标点击检查，我们就会看到具体的URL，为了测试Xpath语法，我们需要打开Xpath插件（本文结尾我会奉上下载链接）

小馒头学Python

2023/11/14

3450

五、XPath实战：快速定位网页元素

Python下载视频的三种姿势

php 安全 https 网络安全编程算法

今天和大家分享下我近段时间get的新技能，用单线程、多线程和协程三种方式爬取并下载梨视频的小视频，话不多说，我们开始叭。冲鸭冲鸭！

可以叫我才哥

2021/12/04

2.4K0

Python下载视频的三种姿势

Python分布式爬虫框架Scrapy 打造搜索引擎(四) - 爬取博客网站

xslt & xpath scrapy python ide

搭建scrapy的开发环境，本文介绍scrapy的常用命令以及工程目录结构分析，本文中也会详细的讲解xpath和css选择器的使用。然后通过scrapy提供的spider完成所有文章的爬取。然后详细讲解item以及item loader方式完成具体字段的提取后使用scrapy提供的pipeline分别将数据保存到json文件以及mysql数据库中.

JavaEdge

2022/12/15

1.1K2

Python分布式爬虫框架Scrapy 打造搜索引擎(四) - 爬取博客网站

相关推荐

博客文章详情页

更多 >