四种采集方式

四种采集方式的比较

说明：Beautiful的解析器包括：Python标准库（html.parser）、lxml的HTML解析器、lxml的XML解析器和html5lib。

使用正则表达式

如果你对正则表达式没有任何的概念，那么推荐先阅读《正则表达式30分钟入门教程》，然后再阅读我们之前讲解在Python中如何使用正则表达式一文。

使用XPath和Lxml

BeautifulSoup的使用

BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航、查找、修改文档的方式。

1. 遍历文档树
   • 获取标签
   • 获取标签属性
   • 获取标签内容
   • 获取子（孙）节点
   • 获取父节点/祖先节点
   • 获取兄弟节点
2. 搜索树节点
   • find / find_all：字符串、正则表达式、列表、True、函数或Lambda。
   • select_one / select：CSS选择器

说明：更多内容可以参考BeautifulSoup的官方文档。

PyQuery的使用

pyquery相当于jQuery的Python实现，可以用于解析HTML网页。