Scrapy提取数据有自己的一套机制，它们被称作选择器(seletors),通过特定的Xpath或者css表达式来"选择"html文件中的某个部分。
一、xpath 概念、xpath节点、xpath语法、xpath轴、xpath运算符
XPath（XML Path Language）是一种用于在 XML 文档中定位和选择节点的语言。XPath的选择功能非常强大，可以通过简单的路径选择语法，选取文档中的任意节点或节点集。学会XPath，可以轻松抓取网页数据，提高数据获取效率。
XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历。
XPath 全称为 Xml Path Language，即 Xml 路径语言，是一种在 Xml 文档中查找信息的语言。它提供了非常简洁的路径选择表达式，几乎所有的节点定位都可以用它来选择。
xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。
请注意，本文编写于 997 天前，最后修改于 996 天前，其中某些信息可能已经过时。
XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。
回顾一下往昔，过去我们讲了爬虫的简单操作，并封装了一个简单的，获取网页源数据的函数，还挺好用吧。
官网 (opens new window) http://lxml.de/index.html
对于XPath来说也是包含了节点，值，节点间的关系三部分。节点有元素，属性，文本，命名空间，指令，注释和根节点7类，节点间的关系有父子关系，兄弟关系，先辈关系，后代关系。
本来打算写的标题是 XPath 语法，但是想了一下 Python 中的解析库 lxml，使用的是 Xpath 语法，同样也是效率比较高的解析方法，所以就写成了 XPath 语法和 lxml 库的用法 安装 为什么要用这个库呢，因为要写爬虫啊，利用 lxml 库来解析 HTML 代码，同时 lxml 也继承了 libxml2 的特性自动修正 HTML 代码，利用pip安装即可 pip install lxml XPath 语法 XPath 是一门在 XML 文档中查找信息的语言，可以用于在 XML 文档中通过
本来是不打算学Xpath的，个人觉得BeautifulSoup()完全能够满足自己的爬虫需求了。但是在学Selenium是时候教程用的是Xpath，加上之前身边的小伙伴也一直在给自己安利Xpath，索性就了解一下。
之前几篇文章都是在写图片相关的爬虫，今天写个留言板爬出，为另一套数据分析案例的教程做做准备，作为一个河北人，遵纪守法，有事投诉是必备的技能，那么咱看看我们大河北人都因为什么投诉过呢？
爬虫是我最喜欢干的事了，把别人的东西拿到自己的手里有一种江洋大盗的快感，后来爬多了。。。 这只是一种技术
Python学习指南 有同学说，我正则用的不好，处理HTML文档很累，有没有其他的方法？ 有！那就是XPath,我们可以用先将HTML文档转换成XML文档，然后用XPath查找HTML节点或元素。 什么是XML XML指可扩展标记语言(Extensible Markup Language) XML是一种标记语言，很类似HTML XML的设计宗旨是传输数据，而非显示数据。 XML的标签需要我们自行定义。 XML被设计为具有自我描述性。 XML是W3C的推荐标准。 W3School官
W3School官方文档：http://www.w3school.com.cn/xml/index.asp
BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库，它的使用方式相对于正则来说更加的简单方便，常常能够节省我们大量的时间。
本文是练习篇的最后一篇文章，虽然练习篇的文章到此就要和大家说拜拜了，但是我们的学习之路才刚刚开始。不要停下你的脚步，大步朝前走吧！比你优秀的人还在走着，我们有什么理由停下自己的脚步了，生命不止，学习亦是如此。好了，宏哥的毒鸡汤好
如上所示的HTML页面通常由三部分构成，分别是用来承载内容的Tag（标签）、负责渲染页面的CSS（层叠样式表）以及控制交互式行为的JavaScript。通常，我们可以在浏览器的右键菜单中通过“查看网页源代码”的方式获取网页的代码并了解页面的结构；当然，我们也可以通过浏览器提供的开发人员工具来了解更多的信息。
上一节，我们详述了lxml.html的各种操作，接下来我们熟练掌握一下XPath，就可以熟练的提取网页内容了。
XQuery 1.0 和 XPath 2.0 共享相同的数据模型，并支持相同的函数和操作符。因此，如果您已经学习了 XPath，那么理解 XQuery 就不会有太大问题。
在学习xpath提取数据之前，得先了解下解析HTML代码的一些方法，如果读者想更加深入学习HTML代码等相关内容，需要去查看下前端HTML相关内容，本文仅介绍网络爬虫需要用到的部分内容。
首先可以看到在网页的左侧，输入框有颜色。在网页的右侧，也有一段有颜色的代码，这是怎么肥四呢？ 这叫做标记，或者叫搜索，或者叫映射，爱怎么叫怎么叫，咱只需要知道左右两个有颜色的地方是一一对应的。
我们模拟登陆用的是selenium库，selenium是一个自动化测试工具，在爬虫中通常用来进行模拟登陆。
首先来了解一下lxml，很多常用的解析html的库都用到了lxml这个库，例如BeautifulSoup、pyquery。
第一次接触HtmlAgilityPack是在5年前，一些意外，让我从技术部门临时调到销售部门，负责建立一些流程和寻找潜在客户，最后在阿里巴巴找到了很多客户信息，非常全面，刚开始是手动复制到Excel，是真尼玛的累，虽然那个时候C#还很菜，也想能不能通过程序来批量获取（所以平时想法要多才好）。几经周折，终于发现了HtmlAgilityPack神器，这几年也用HtmlAgilityPack采集了很多类型数据，特别是足球赛事资料库的数据采集以及天气数据采集，都是使用HtmlAgilityPack，所以把自己的使用
什么是DOM？ DOM（Document Object Model）文档对象模型，是语言和平台的中立接口。。 允许程序和脚本动态地访问和更新文档的内容。 为什么要使用DOM？ Dom技术使得用户页面可
DOM（Document Object Model）文档对象模型，是语言和平台的中立接口。。
参考连接： XPath教程 https://www.w3school.com.cn/xpath/index.asp lxml文档 https://lxml.de/index.html#support-the-project 爬虫专栏 https://blog.csdn.net/m0_38139250/category_12001010.html
在自动化测试中，使用Selenium定位网页元素是至关重要的。XPath是一种强大的定位方法，允许您通过元素的路径来精确定位，无论其在DOM（文档对象模型）中的位置如何。
XPath 即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。它使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。 XPath语法
w3c http://www.w3school.com.cn/xpath/index.asp
lxml.py from lxml import etree from io import StringIO test_html = ''' <html> <body> 手机品牌商4 小米01
firefox：59.0.2 selenium：3.11.0
很早之前就想研究研究，一直没有合适的时间，今天刚好没啥事，乘机瞧一瞧xpath的“庐山真面目”。
上一篇中，只是简单地一带而过的说了一些驱动浏览器，这一篇继续说说驱动浏览器，然后再说一说元素定位的方法。
Xpath表达式可以用来检索标签内容： 获取 标签的所有class属性： //div/@class
符号 XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。
文章目录 1、XML概述 1.1、什么是XML 1.2、XML和HTML的区别 2、XML基本语法 2.1、XML语法规则 2.2、书写注意点 2.3、属性 2.4、CDATA 3、PHP解析XML原理 4、XPath语言 1、XML概述 1.1、什么是XML XML即可扩展性标记语言 XML的目的是传输和存储数据，不是展示数据 XML的标签必须自定义，没有官方标签，但是自定义标签要遵循一定规则。 XML是W3C推举的数据传输格式。 很多配置文件都是XML写的。 1.2、XML和HTML的区别 HTM
xpath即为XML路径语言（XML Path Language），是由国际标准化组织W3C指定的，一种用来确定XML文档节点位置的语言
在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。
在上一篇博客《python爬虫获取豆瓣电影TOP250》中,小菌为大家带来了如何将豆瓣电影Top250的数据存入MySQL数据库的方法。这次的分享,小菌决定再带着大家去研究如何爬取豆瓣图片的Top250信息，并将数据保存在csv文件中!
绝对路径（absolute path）必须用”/”起首，后面紧跟根节点，比如/step/step/…
遇到了好几次'XPATH'这个词，近日在学习ChormeDev(谷歌浏览器开发者工具)又遇到，故特意了解学习。 XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。（摘自w3school） 通俗说，是XML语言中通过路径（特俗的路径）寻找标签的方法。 XPath 使用路径表达式在 XML 文档中进行导航。 XPath 包含一个标准函数库。 XPath 是 XSLT 中的主要元素。 XPath 是一个 W3C 标准。
本文主要涉及:xml概念描述,xml的约束文件,dtd,xsd文件的定义使用,如何在xml中引用xsd文件,如何使用java解析xml,解析xml方式dom sax,dom4j解析xml文件
XPath是W3C的一个标准。它最主要的目的是为了在XML1.0或XML1.1文档节点树中定位节点所设计。 XPath是一种表达式语言，它的返回值可能是节点，节点集合，原子值，以及节点和原子值的混合等。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
