如何使用lxml和python遍历html文档及其子文档的<body>？
使用lxml和Python遍历HTML文档及其子文档的<body>可以通过以下步骤实现：
- 首先，确保已经安装了lxml库。可以使用以下命令进行安装：
- 首先，确保已经安装了lxml库。可以使用以下命令进行安装：
- 导入lxml库和相关模块：
- 导入lxml库和相关模块：
- 读取HTML文档并创建解析器对象：
- 读取HTML文档并创建解析器对象：
- 使用XPath表达式选择<body>元素及其子元素：
- 使用XPath表达式选择<body>元素及其子元素：
- 这里的XPath表达式
//body//*表示选择所有在<body>元素下的子元素。 - 遍历所选元素并进行相应操作：
- 遍历所选元素并进行相应操作：
- 在这个示例中，我们简单地打印了每个元素的文本内容。
lxml是一个高性能的Python库，用于解析和处理XML和HTML文档。它提供了丰富的功能和灵活的API，使得在Python中处理HTML文档变得简单和高效。
优势：
- 高性能：lxml使用C语言编写，具有出色的性能和内存效率。
- 强大的XPath支持：lxml支持XPath表达式，可以方便地选择和操作文档中的元素。
- 完整的HTML解析：lxml能够处理复杂的HTML文档，包括处理不完整或损坏的标记。
- 支持修改和序列化：lxml不仅可以解析HTML文档，还可以修改文档结构并将其序列化为字符串或文件。
应用场景：
- 网页数据提取：使用lxml可以方便地从HTML文档中提取所需的数据，例如爬虫、数据挖掘等应用。
- 网页内容分析：通过解析HTML文档，可以对网页内容进行分析和处理，例如提取关键词、统计标签出现次数等。
- 网页自动化测试：lxml可以帮助开发人员在自动化测试中定位和操作HTML元素，以验证网页的正确性和功能。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云服务器（CVM）：提供稳定可靠的云服务器实例，满足不同规模和需求的应用场景。产品介绍
- 腾讯云对象存储（COS）：提供安全可靠的对象存储服务，用于存储和管理大规模的非结构化数据。产品介绍
- 腾讯云数据库（TencentDB）：提供高性能、可扩展的数据库服务，包括关系型数据库和NoSQL数据库。产品介绍
- 腾讯云人工智能（AI）：提供丰富的人工智能服务和工具，包括图像识别、语音识别、自然语言处理等。产品介绍
- 腾讯云物联网（IoT）：提供全面的物联网解决方案，包括设备接入、数据管理、应用开发等。产品介绍
- 腾讯云区块链（Blockchain）：提供安全可信的区块链服务，用于构建和管理区块链应用和网络。产品介绍
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和情况进行。
相关·内容
在LXML python库中，如何迭代？lxml python中的iterdescendants()和iterchildren()有什么不同？
浏览 0提问于2020-01-08得票数 1
3回答
在阅读了用于python的lxml中的xpath教程之后，我发现很难理解两种在我看来像是bug的行为。首先，即使我的xpath表达式明确地只选择了一个元素，lxml似乎也会返回一个列表；其次，.xpath似乎会返回元素的父元素，而不是直接通过xpath搜索表达式选择的元素本身。
是我对XPath的理解全错了，还是lxml确实有个bug？
复制我所说的行为的脚本：
from lxml.html.soupparser import fromstring
doc = fromstring("""
<html>
<head><
浏览 0提问于2012-03-19得票数 0
在python中，如何在使用lxml.html时保留段落(即保留换行符)？
例如，下面将剥离标记并加入这些行，这不是我想要的：
body = doc.cssselect("div.body")[0]
content = body.text_content()
以下是我尝试过的不起作用的东西：
lxml.html.clean.clean_html：不会保存newlines.
content.replace(“"*3，"\n\n")：不能一致工作，因为组合文本没有相同数量的spaces.
浏览 3提问于2010-11-22得票数 2
回答已采纳
1回答
我试图在以下html文档中更改title的值：
<html lang="en">
<head>
<meta charset="utf-8">
<title id="title"></title>
<base href="/">
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<b
浏览 1提问于2017-08-18得票数 4
回答已采纳
2回答
Python lxml似乎提供了几个生成HTML的构建器。这两者有什么区别？
但是它们会生成普通的HTML，而不是XHTML。虽然我可以手动添加xmlns声明，但这是不雅的。那么，用lxml生成XHTML文档的推荐方法是什么？
lxml.builder.E
来自的示例
>>> from lxml.builder import E
>>> def CLASS(*args): # class is a reserved word in Python
... return {"class":' '.join(args)}
浏览 5提问于2012-06-03得票数 10
1回答
我有HTML：
<table>
<tbody>
<tr>
<td align="left" valign="top" style="padding: 0 10px 0 60px;">
<img src="/files/39.jpg" width="64" height="64">
</td>
<td align="left" valign="middle"><h1>30 R
浏览 0提问于2012-07-28得票数 2
回答已采纳
2回答
使用lxml库，有了这个doc xml文件，我想剥离一些标记并重命名它们: doc.xml
<html>
<body>
<h5>Fruits</h5>
<div>This is some <span attr="foo">Text</span>.</div>
<div>Some <span>more</span> text.</div>
<h5>Vege
浏览 0提问于2019-09-21得票数 1
所以，我正在访问一些url，它的格式类似于：
<DOCUMENT>
<TYPE>A
<SEQUENCE>1
<TEXT>
<HTML>
<BODY BGCOLOR="#FFFFFF" LINK=BLUE VLINK=PURPLE>
</BODY>
</HTML>
</TEXT>
</DOCUMENT>
<DOCUMENT>
<TYPE>B
<SEQUENCE>2
...
如您所见，它启动
浏览 0提问于2014-11-13得票数 1
1回答
解析lxml中的html正文片段
、、、、
我正在尝试解析html的一个片段：
<body><h1>title</h1><img src=""></body>
我使用lxml.html.fromstring。它让我抓狂，因为它一直在剥离我的<body>标签中的片段：
> lxml.html.fromstring('<html><h1>a</h1></html>').tag
'html'
> lxml.html.fromstring('<di
浏览 0提问于2013-05-11得票数 5
回答已采纳
3回答
我用Python语言中的lxml抓取网页。然而，为了获得表行的数量，我首先获得所有行，然后使用len()函数。我觉得这太浪费了，有没有其他方法来获取他们的数字(动态1)，以便进一步抓取？
import lxml.html
doc = ''
try:
doc = lxml.html.parse('url')
except SkipException: pass
if doc:
buf = ''
#get the total number of rows in table
tr = doc.xpath("
浏览 3提问于2012-09-22得票数 0
回答已采纳
我使用的是python的lxml.html。我有一个xpath表达式，它捕获节点的文本，但我需要的是所有文本，包括子标记的标记及其内容。我该如何实现这一点？
浏览 0提问于2011-08-27得票数 1
我正在阅读带有以下演示的lxml教程：
#+BEGIN_SRC ipython :session lxml :results output
print(html.xpath("string()")) # lxml.etree only!
# TEXTTAIL
print(html.xpath("//text()")) # lxml.etree only!
# ['TEXT', 'TAIL']
#+END_SRC
#+RESULTS:
: TEXTTAIL
: ['TEXT', 'TAIL']
我
浏览 0提问于2019-12-13得票数 0
1回答
我正在编写一个使用beautiful soup解析xml文档的python脚本。有些文档包含名为"area“的元素。由于某些原因，我无法正确地解析这些元素。它们总是作为空的<area/>元素出现。
下面是正在发生的事情的一个极小的例子：
#!/usr/bin/python3.5
from bs4 import BeautifulSoup
xml = """""
<?xml version = '1.0' encoding = 'UTF-8' standalone = 'yes'?
浏览 4提问于2017-11-23得票数 2
回答已采纳
2回答
我正在尝试创建一个基本的刮板，它将从Soundcloud上的搜索中抓取用户名和歌曲标题。通过检查我需要的元素(使用Chrome)，我发现我需要找到与title="soundTitle__usernameText“中的每个标记'span‘相关联的字符串。使用BeautifulSoup、urllib2和lxml，我有以下搜索'robert‘的代码：
from lxml import html
from bs4 import BeautifulSoup
from urllib2 import urlopen
import requests
def search_result
浏览 6提问于2015-12-24得票数 2
回答已采纳
2回答
我正在用Python编写一个小项目，将XML文件解析为JSON。它使用lxml库(需要使用可以恢复XML文件的XMLParser )。
问题是我需要将我的项目作为开箱即用的runnable交付。lxml不是标准的Python库，所以我需要在脚本中包含它。该脚本应该可以在Linux Debian 9或Windows Server上运行。
可以将工作库与我的脚本一起交付吗？lxml需要编译才能工作，它依赖于系统，它还需要libxml2和libxslt库才能在Windows上工作。
谢谢，Szymon
浏览 0提问于2019-05-12得票数 1
1回答
如何使用选择器找到特定的文本？
、、、、
我在python中编写了一个脚本来查找td标记中的文本，这是第一个td标记的next sibling，它使用BeautifulSoup和css选择器相结合。如果我运行这个脚本，我会发现它很有用。但是，当我使用lxml库进行同样的操作时，它就不再工作了。如何使我的后一个脚本工作？谢谢。
以下是内容：
html_content="""
<tr>
<td width="25%" valign="top" bgcolor="lightgrey" nowrap="">
<
浏览 3提问于2017-11-03得票数 0
回答已采纳
3回答
如何在XPath 1.0中查找col name="POW"为空的所有行
<row>
<col name="WOJ">02</col>
<col name="POW"/>
<col name="GMI"/>
<col name="RODZ"/>
<col name="NAZWA">DOLNOŚLĄSKIE</col>
<col name="NAZDOD">województwo&
浏览 1提问于2011-12-31得票数 10
回答已采纳
1回答
我正在使用lxml.html解析html内容。但是我不明白为什么lxml要删除"body“标记属性。已尝试按照建议的同时使用lxml.html.parse和lxml.html.document_fromstring
但它仍然不起作用。
示例html字符串：-
<html class="hello"> <head> <iframe src="index.html"></iframe> </head> <body class="foo"><h1>a</h
浏览 2提问于2015-05-10得票数 2
1回答
我正在从python xml切换到lxml。我发现lxml对名称空间有相当严格的策略。
我想生成一个包含多个冗余xmlns:ns0名称空间声明的xml。但是，lxml从子元素中剥离了这个名称空间。
如何通过lxml定义冗余名称空间？
<?xml version="1.0" ?>
<env:Envelope xmlns:env="some URI" xmlns:ns0="http://www.w3.org/2001/XMLSchema" xmlns:ns1="http://www.w3.org/2001/XMLSchema
浏览 4提问于2021-11-07得票数 0
这个问题已经困扰了我一段时间了。我正在尝试从金融网站上抓取表格。例如，来自barchart.com ( finviz.com相同的问题)
import lxml.html as lh
import lxml, urllib2
gList = ['gapup','gapdown']
count = {}
doc = {}
for g in gList:
doc[g] = lh.parse(urllib2.urlopen('http://www.barchart.com/stocks/{0}.php'.format(g)))
cou
浏览 1提问于2013-12-12得票数 0
我正在将由DOM树组成的分层数据插入到图形数据库中，但我无法建立节点之间的完整关系。我在循环的时候截断了这些树 下面的代码演示了遍历DOM节点、插入标记并获得最后插入的id的过程。我遇到的问题是如何通过传递从上一次迭代中获得的ID来正确地连接树。我在使用递归时也遇到了同样的问题。我如何循环和传递I，以便它们可以均匀地连接到所有节点树？ 考虑下面的HTML <!doctype html>
<html lang="en">
<head>
<meta charset="UTF-8"/>
<ti
浏览 42提问于2021-07-29得票数 0
1回答
我正在使用lxml解析html并对其进行编辑以生成一个新文档。本质上，我试图使用它有点像javascript DOM -我知道这不是真正的预期用途，但到目前为止它的大部分工作都很好。
目前，我使用iterdescendants()来获取元素的可迭代列表，然后依次处理每个元素。
但是，如果元素在迭代期间被删除，它的子元素仍然会被考虑，因为正如您所预期的那样，删除不会影响迭代。为了得到我想要的结果，这个hack是有效的：
from lxml.html import fromstring, tostring
import urllib2
import re
html = ''
浏览 0提问于2011-05-27得票数 2
我运行的是ubuntu12.04，通常使用python2.7，但我需要一个用python3.4构建并使用lxml的python包。更新智能后，我可以安装python3.2和lxml，但是我想要的包只适用于3.4。在安装python3.4之后，我尝试使用
pip3 install libxml2-dev
我知道错误：
No matching distribution found for libxml2-dev
pip3 install lxml
不起作用，并要求libxml2：
Could not find function xmlCheckVersion in library libxml2
浏览 4提问于2016-08-05得票数 0
回答已采纳
造成这一错误的原因是什么？
我认为这是由于不完整的网页加载相关网页。是对的吗？
Traceback (most recent call last):
File "/home/ubuntu/.local/share/virtualenvs/Project-RDkr7CyY/lib/python3.7/site-packages/pyquery/pyquery.py", line 57, in fromstring
result = getattr(etree, meth)(context)
File "src/lxml/etree.pyx", li
浏览 0提问于2021-10-08得票数 1
1回答
我使用Python 对从检索的执行XML解析。过去，我在使用lxml时没有遇到任何问题，但是我可能只是遇到了一个错误，它的形式是丢失的子元素(在lxml树中)，它明显地出现在HTML中。
下面是我用来解析HTML的Python代码：
from urllib.request import urlopen
from lxml import etree
html_response = urlopen("http://ohhla.com/YFA_natedogg.html")
html_parser = etree.HTMLParser()
tree = etree.parse(ht
浏览 2提问于2017-07-07得票数 2
回答已采纳
我有一些html文件：
<html>
<body>
<span class="text">One</span>some text1</br>
<span class="cyrillic">Мир</span>some text2</br>
</body>
</html>
如何在python中使用lxml获取"some text1“和"some text2”？
浏览 2提问于2010-11-15得票数 1
回答已采纳
import urllib
import lxml.html
down='http://blog.sina.com.cn/s/blog_71f3890901017hof.html'
file=urllib.urlopen(down).read()
root=lxml.html.document_fromstring(file)
body=root.xpath('//div[@class="articalContent "]')[0]
print body.text_content()
当我运行代码时，我得到的是文本内容，如何才能获得它的html
浏览 0提问于2012-12-31得票数 5
回答已采纳
在“lxml's ”中，它写道：
lxml可以通过BeautifulSoup模块与lxml.html.soupparser的解析功能进行接口。它提供了三个主要功能: file ()和parse()用于使用BeautifulSoup将字符串或文件解析为lxml.html文档；convert_tree()将现有的BeautifulSoup树转换为顶级元素的列表。
同时，BS‘还可以使用lxml作为解析器.
美丽的Soup支持Python标准库中包含的HTML解析器，但它也支持许多第三方Python解析器。一个是lxml解析器。
BS 还建议使用lxml作为速度解析器。
那么
浏览 2提问于2015-08-25得票数 3
回答已采纳
3回答
我开始在Python中使用lxml来处理XML/XSL文档，一般来说，它看起来非常直接。但是，在进行转换时，我无法找到将XML片段作为样式表参数传递的方法。
例如，在PHP中，可以将DOMDocument XML片段作为样式表参数传递，这样样式表中就可以有复杂的params：
$xml = new DOMDocument();
$xml->loadXML('<root><node/></root>');
$xsl = new DOMDocument();
$xsl->loadXML('<?xml version=&
浏览 1提问于2009-11-18得票数 1
回答已采纳
1回答
在Python中，如何使用XPath来计数节点？例如，使用和以下代码：
from lxml import html, etree
import requests
url = "http://intelligencesquaredus.org/debates/past-debates/item/587-islam-is-dominated-by-radicals"
r = requests.get(url)
tree = html.fromstring(r.content)
count = tree.xpath('count(//*[@id="body"]
浏览 4提问于2014-11-13得票数 1
回答已采纳
2回答
我要：
<div data-a>
但是LXML似乎只给了我以下几个方面：
<div data-a=''>
如何获得无价值属性？
令人讨厌的是，空白值和空值由LXML表示为空字符串。
设置None值没有帮助。
In [19]: from lxml.html import fromstring, tostring
In [20]: b = fromstring('<body class="meow" data-a="haha" data-b data-x="">text-fef27e87
浏览 5提问于2015-06-22得票数 5
回答已采纳
我得到了这个xpath查询：
/html/body//tbody/tr[*]/td[*]/a[@title]/@href
它提取所有带有标题属性的链接-并在中给出href。
但是，我似乎不能在lxml中使用它。
from lxml import etree
parsedPage = etree.HTML(page) # Create parse tree from valid page.
# Xpath query
hyperlinks = parsedPage.xpath("/html/body//tbody/tr[*]/td[*]/a[@title]/@href")
f
浏览 0提问于2010-01-18得票数 5
回答已采纳
在为jupyter笔记本提供服务的Docker容器中运行BeautifulSoup和lxml时，我遇到了问题。
我已经通过sudo pip install lxml安装了lxml，如果我运行一个交互式python解释器，一切都可以正常工作：
>>> from bs4 import BeautifulSoup as bs
>>> bs('test','lxml')
<html><body><p>test</p></body></html&g
浏览 2提问于2016-04-07得票数 4
下面是一些HTML：
<ol><ul><li>item</li></ul></ol>
还有一些用lxml解析并重新打印它的python 3代码：
import sys
from lxml import etree, html
document_root = html.fromstring(sys.stdin.read())
print(etree.tostring(document_root, encoding='unicode'))
这是输出：
<div><ol/><ul&
浏览 3提问于2021-07-26得票数 1
回答已采纳
我很难用这个问题的标题来表述，但找不到更简洁的东西了。
我想将一些事件oninput附加到一个元素(这里是一个input字段)。但出于某种原因它不起作用。我将问题缩小到示意的MWE (最后完成MWE)。
addEvent();
document.body.innerHTML += "a";
addEvent()只是一个函数，它改变了input字段的oninput属性。我的问题是addEvent()被忽视了。
为了确保addEvent();正常运行，我还修改了input字段的value，以及函数正文中的backgroundColor。然而，当我运行代码时，oninput和valu
浏览 0提问于2018-10-01得票数 0
回答已采纳
1回答
如何在使用lxml / scrapy选择器xpath后获得原始的html实体？
我已经尝试了lxml而不是parsel包，同样的问题。
mytext = '<html><body><span>go od</span></body></html>'
sel = parsel.Selector(text=mytext)
sel.xpath('//body').extract()
实际输出：
['<body><span>go\xa0od</s
浏览 19提问于2019-11-06得票数 1
2回答
方法一
在尝试使用Python获取网站()中所有xpath的层次树时，我首先尝试使用以下方法获取分支的xpath：/html/body：
from selenium import webdriver
url = 'https://startpagina.nl'
driver = webdriver.Firefox()
driver.get(url)
test = driver.find_elements_by_xpath('//*')
print(len(test))
driver.close()
根据@Prophet的回答，这会产生一个网站上所有元素的列
浏览 12提问于2022-11-24得票数 0
我有一些当前的Python代码，可以使用HTML标记所在的xpath从网站的某个部分获取HTML。
def wordorigins(word):
pageopen = lxml.html.fromstring("http://www.merriam-webster.com/dictionary/" + str(word))
pbody = pageopen.xpath("/html/body/div[1]/div/div[4]/div/div[1]/main/article/div[5]/div[3]/div[1]/div/p[1]")
浏览 2提问于2016-05-06得票数 2
回答已采纳
我正在尝试从获取Body-Tag
但是BeautifulSoup没有找到它。这是因为无效的HTML吗？如果是这样，我如何才能防止这种情况发生？
我还尝试使用PyTidyLib ()为HTML-Errors添加前缀。
以下是部分代码：
def getContent(url, parser="lxml"):
request = urllib2.Request(url)
try:
response = opener.open(request).read()
except:
print 'EMPTY CONTE
浏览 2提问于2013-05-05得票数 0
回答已采纳
当使用python/lxml解析HTML时，我希望检索html元素的实际属性文本，但我使用解析的实体获取属性文本。也就是说，如果实际属性读取this & that，我将返回this & that。
是否有一种获得未解决属性值的方法？下面是一些示例代码，显示了我的问题，使用python2.7和lxml 3.2.1
from lxml import etree
s = '<html><body><a alt="hi & there">a link</a></body><
浏览 11提问于2015-05-04得票数 0
回答已采纳
我试图电子邮件附件和格式化我的电子邮件的内容.由于某种原因:变量=f“电子邮件内容格式化行1，电子邮件内容格式化行2，电子邮件内容格式化行3”“
“中的行不要全部转向string...and，下面的代码将变成字符串。知道为什么吗？
代码见下文。例如，msg_text和msg.attach行将转换为字符串。如何修复我的f-字符串设置？
html = f"""
<html><body>
<h1> Monthly Accounting File ({month_end.strftime("%m
浏览 2提问于2022-11-09得票数 0
3回答
我是lxml和python的新手。我正在尝试解析一个html文档。当我使用标准xml解析器进行解析时，它将正确地写出字符，但我认为它无法解析，因为我在使用xpath搜索它时遇到了问题。
正在解析的示例文件：
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml"
浏览 1提问于2012-03-06得票数 6
回答已采纳
如果我这样做：
import lxml
在python中，不导入lxml.html。例如，我不能调用lxml.html.parse()函数。为何会这样呢？
浏览 1提问于2012-02-16得票数 13
回答已采纳
我想获取一个html文档，并遍历该文档的<body>部分及其子项。我看到了很多通过xpath或标记名获取子树的示例，但这似乎没有提供子树。
import lxml
from lxml import html, etree
html3 = "<html><head><title>test<body><h1>page title</h3><p>some text</p>"
root = lxml.html.fromstring(html3)
tree = etree.E
浏览 12提问于2018-02-28得票数 1
回答已采纳
如何让py2exe导入我在lxml文件夹中的etree.pyd？
当我这样做的时候
includes = ['lxml.etree']
我得到的错误是：importerror no module named lxml.etree。如果我进入python控制台并输入
from lxml import etree
import lxml
lxml.etree
两者都工作得很好。我做错了什么？
浏览 4提问于2013-06-07得票数 0
1回答
我试图从html页面上的一个主标记中提取所有内容(标记和文本)。例如：
`my_html_page = '''
<html>
<body>
<div class="post_body">
<span class="polor">
<a class="p-color">Some text</a>
<a class="p-color">
浏览 3提问于2015-04-28得票数 2
回答已采纳
如何在一个xpath表达式中获得H1、H2、H3内容？
我知道我能做到。
//html/body/h1/text()
//html/body/h2/text()
//html/body/h3/text()
诸若此类。
浏览 0提问于2011-11-03得票数 27
回答已采纳
我想从网站上使用Python提取onel-iner-text。HTML中的消息如下所示：
<div class="olh_message">
<p>foobarbaz <img src="/static/emoticons/support-our-fruits.gif" title=":necta:" /></p>
</div>
到目前为止，我的代码如下所示：
import lxml.html
url = "http://www.scenemusic.net/dem
浏览 2提问于2011-07-09得票数 0
我正在用python 3编写一个包装程序。通过测试，我发现用utf-8编码的html页面有一点问题。
Traceback (most recent call last):
File "/home/caiocesare/PycharmProjects/script/xpathExtraction.py", line 121,
in <module>
xpaths_extraction()
File "/home/caiocesare/PycharmProjects/script/xpathExtraction.py", line 117,
浏览 0提问于2018-04-23得票数 1
回答已采纳
我使用lxml解析一个示例html。就像这样：
__dom = lxml.html.fromstring("<html><body><div id='mydiv'></div></body></html>")
我试图以编程方式获取添加到html中的元素的id，如下所示：
mydiv = __dom.get_element_by_id('mydiv')
mydiv.text = "<p id='myInner'>this is the inn
浏览 4提问于2021-06-27得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
