Python xpath捕获所有<tr>并遍历它们，访问子xpath
是指使用Python中的xpath库来捕获HTML或XML文档中的所有<tr>元素，并对它们进行遍历，然后访问每个<tr>元素的子元素的xpath。
XPath是一种用于在XML文档中定位元素的语言。在Python中，可以使用lxml库来解析HTML或XML文档，并使用xpath表达式来定位元素。
以下是一个示例代码，演示如何使用Python xpath捕获所有<tr>元素并遍历它们，然后访问每个<tr>元素的子元素的xpath：
from lxml import etree
# 假设html是一个包含<tr>元素的HTML文档
html = """
<html>
<body>
<table>
<tr>
<td>Row 1, Column 1</td>
<td>Row 1, Column 2</td>
</tr>
<tr>
<td>Row 2, Column 1</td>
<td>Row 2, Column 2</td>
</tr>
<tr>
<td>Row 3, Column 1</td>
<td>Row 3, Column 2</td>
</tr>
</table>
</body>
</html>
"""
# 使用lxml解析HTML文档
tree = etree.HTML(html)
# 使用xpath表达式捕获所有<tr>元素
trs = tree.xpath('//tr')
# 遍历每个<tr>元素
for tr in trs:
# 访问<tr>元素的子元素的xpath
tds = tr.xpath('.//td')
for td in tds:
print(td.text)在上述代码中，首先使用lxml库解析HTML文档，然后使用xpath表达式'//tr'捕获所有<tr>元素，并将它们存储在变量trs中。接下来，使用for循环遍历每个<tr>元素，并使用xpath表达式'.//td'访问每个<tr>元素的子元素<td>，将其存储在变量tds中。最后，再次使用for循环遍历每个<td>元素，并打印其文本内容。
这样，就可以通过Python xpath捕获所有<tr>元素并遍历它们，然后访问每个<tr>元素的子元素的xpath。
相关·内容
如何遍历到某个找到的元素，然后继续到下一个找到的项？在我的示例中，我尝试搜索第一个元素，抓取文本，然后继续搜索，直到找到下一个标记或命中特定的标记。我还需要考虑标签的原因是因为我想在那里做一些事情。
Html
<table border=0>
<tr>
<td width=180>
<font size=+1><b>apple</b></font>
</td>
<td>Description of an apple</td>
&l
浏览 0提问于2013-12-25得票数 2
1回答
Python遍历tr元素
、、、
当我试图获得tr元素的父节点时，在迭代所有这些元素时遇到了一个问题。
这是我正在处理的一张基本桌子。
下面是我使用lxml获取父节点的Python脚本
import lxml.html
htm = lxml.html.parse('plaintable.htm')
tr = htm.xpath('//tr')
for x in tr:
tbody = tr.getparent()
if tbody.index(tr) == 1:
print ('Success!')
print ('Finishe
浏览 3提问于2016-07-09得票数 2
回答已采纳
2回答
我一直没能找到一种简单的方法来做到这一点，我一直在关注，我写了以下内容：
##just comments before this
import lxml,requests
23 page = requests.get('https://finalexams.rutgers.edu.html')
24
25 tree = html.fromstring(page.text)
26
27 tableRow = tree.xpath('//tr/text() ' )
28
29 print 'Rows' , tableRow
浏览 1提问于2014-12-03得票数 0
尝试迭代每一行以分别为所有行创建列表。HTML表格是； table, th, td {
border: 1px solid black;
}
Name
Month
Savings
John
January
$90
Smith
February
$80
Ken
March
$70
Dan
April
$60 我的python代码是： driver.get("file:///C:/HTML/new.
浏览 21提问于2021-03-01得票数 1
回答已采纳
我是新接触Selenium Python的。我正在使用Selenium登录一个网站。到目前为止，我已经成功登录并导航到我想要的页面。在该页面中，我有一个id为"Common“表。在表体内部，我有一个no。表的行数。我需要从表中获取一个特定的值"234“。下面是HTML的粗略外观。我需要在输出窗口中打印值"234“。我使用的是Python 2.7。任何帮助都是非常感谢的。 <div id="Common" class="x6w" theme="medium">
<div id="Common::c
浏览 56提问于2020-08-13得票数 0
如何遍历所有tr以在td.In (我的代码)中给出值--它覆盖相同的tr/td。
我的桌子。
#qty to add
<tbody id="gridview-1161-body">
<tr id="gridview-1161-record-19842148" data-boundview="gridview-1161" class="x-grid-row x-grid-data-row" tabindex="-1">
<td role="gridcell" class=
浏览 7提问于2019-12-27得票数 0
回答已采纳
1回答
循环不打印所需的内容
、、、、
这是我的代码：
for(WebElement trElement : tr_collection) {
List<WebElement> td_collection = trElement.findElements(By.xpath("td"));
int col_num = 1;
String rowHeader = "<tr>";
for(WebElement tdElement : td_collection) {
rows += "<td>"+tdEl
浏览 2提问于2021-03-18得票数 0
2回答
我在使用XPath在Selenium (Python)中查找元素时遇到问题。我想做两个动作:首先，访问parent的子元素(这是一个子子子元素)，然后访问下一个兄弟标记来执行相同的操作。
<div class="A">
<div class="non-desired"></div>
//First Access to B
<div class="B">
//In order to treat C
<div class="C"></di
浏览 2提问于2016-12-28得票数 0
1回答
如何使用Nokogiri查找<!--Sanction 3-->中的文本(解析HTML)？
我正在向网站输入搜索词，结果将显示在下一页。我需要以编程方式从结果页面抓取数据，如果它满足特定的标准。
当我分析结果页面时，我注意到这些项目被分解为制裁。我需要知道制裁是否有数据，如果有，它是否包含我的关键字；我正在查找县/州。我不知道如何让它看起来像是一种制裁。下面是HTML的一小部分：
<!--Sanction 3-->
<table border="2" cellpadding="2" cellspacing="0" w
浏览 2提问于2012-03-10得票数 3
回答已采纳
2回答
在curl请求中，我有一个具有以下结构的html表。现在，我希望只提取包含带空类的span元素的表行，而不提取带有class=“子组件”的表行。我成功地尝试了Xpath来查找带有空类的元素，但是如何获得包含版本和Partnumber的整个<tr>或更好的特定<td>节点。提前谢谢。
<table>
...
<tbody>
<tr>
<td></td>
<td></td>
<td>
<span
浏览 4提问于2017-09-12得票数 0
回答已采纳
我正在使用RSelenium进行网页抓取。现在，我从一个动态生成的web页面中获得了某个XML节点的xpath。子节点属于同一类型。但是，我没有关于子节点数量的先验知识。(例如，当您在购物网站上搜索稀有商品时，您可能会遇到这种情况。)
一般情况下，如何获取以下信息？
1)节点的子节点数。2)上面的xpath。我的目标是在每个子节点中应用操作(例如，填充、检查或单击，这取决于节点的类型)。
我在chrome中看到一些使用xpath helper的xpath。那我就完全卡住了。
优选地，使用RSelenium例示。httr + rvest也是可以接受的。
浏览 16提问于2016-08-05得票数 0
回答已采纳
考虑到这个HTML：
<!-- ...similar content... -->
<tr>
<td colspan="3" class="pcipgSubHeader"><b>November 2021</b></td>
</tr>
<tr class="pcipgAddTopPadding">
<td></td>
<td width="40px"><b>Qty&
浏览 3提问于2021-12-20得票数 0
3回答
我用Python语言中的lxml抓取网页。然而，为了获得表行的数量，我首先获得所有行，然后使用len()函数。我觉得这太浪费了，有没有其他方法来获取他们的数字(动态1)，以便进一步抓取？
import lxml.html
doc = ''
try:
doc = lxml.html.parse('url')
except SkipException: pass
if doc:
buf = ''
#get the total number of rows in table
tr = doc.xpath("
浏览 3提问于2012-09-22得票数 0
回答已采纳
1回答
我试图从XML创建一个XLST文件，但问题是当我将XSLT转换为HTML时，输出并不是预期的那样。问题是，当我运行转换时，我只得到了一行步骤，即只显示了第一个步骤，而其他所有步骤都没有显示。可以看到的输出。您可以在中找到所需的结果
XML文件：
<?xml version="1.0" encoding="UTF-8"?>
<Recipe>
<Title>Beef Parmesan With Garlic Angel Hair Pasta</Title>
<Ingredients
浏览 1提问于2018-03-02得票数 0
2回答
我有下面的HTML表。
<table>
<tr>
<td>Link 1</td>
<td>Archieved</td>
</tr>
<tr>
<td>Link 2</td>
<td>Terminated</td>
</tr>
<tr>
浏览 2提问于2015-10-26得票数 2
回答已采纳
你好，我试图为不同的元素tr执行一个for循环，每个元素都带有要提取的信息，当我执行循环时，它会返回错误: TypeError:列表索引必须是整数或切片，而不是WebElement。
lines = driver.find_elements_by_xpath("//[@id='DataTables_Table_0']/tbody/tr")
for x in lines:
Date = driver.find_elements_by_class_name("Date")
record.acell(getNextRow()
浏览 0提问于2019-01-28得票数 1
2回答
在一个页面中有一个按钮列表。除了链接文本之外，每个按钮的源代码都是相同的。
我需要确认在一个页面上的所有按钮都可以使用WebDriverWait.until点击。我可以使用下面的WebDriverWait(driver,10).until(ec.element_to_be_clickable(By.XPATH,'//a[@class="ng-scope"]'))来确认第一个按钮是可点击的，但是如何在不使用文本功能(abc|efg)的情况下确认第二个按钮呢？
对在xpath中提取索引有什么建议吗？谢谢。
<li class="ng-scope"
浏览 0提问于2016-01-25得票数 0
1回答
注意:我对Python和Xpath非常陌生
我想要执行一个Xpath查询，并在表达式中使用一个变量来遍历使用索引的所有元素。
例如，我希望能够在此表达式中放置一个变量i，而不是指定[1]、[2]等的具体位置：
for x in root.xpath('/movies/a_movie[i]/studio'):
print "<studio>" + x.text + "</studio>"
我甚至不确定这是否可能，但我想问问也无伤大雅！
为了澄清，这就是我为什么要这样做的原因:我试图处理a_movie[1]的所有元素，
浏览 0提问于2013-03-28得票数 2
回答已采纳
1回答
我现在正在教自己如何在iOS中筛选废品，我已经学会了如何在Android上这样做。
我正在使用hpple库。
我目前正在努力复制我在Android上使用hpple所拥有的内容，因此，我正在寻找一些关于如何正确使用hpple来解析我的HTML内容的指导。
我目前正试图解析HTML网站中的以下内容：
<table class="tableForAppContent">
<tr>
<td nowrap="nowrap">
<a href='testLink'>CODE</a> My
浏览 2提问于2013-12-04得票数 0
回答已采纳
我正在创建一个程序，提取我在Instagram上关注的所有人。我使用的是Python、Selenium和Chromedriver。 为此，我首先获取被关注的人数，然后点击‘关注’按钮： nb_abonnements = int(webdriver.find_element_by_xpath('/html/body/span[1]/section[1]/main/div[1]/header/section[1]/ul/li[3]/a/span').text)
sleep(randrange(1,3))
abonnements = webdriver.find_element_
浏览 89提问于2019-01-06得票数 2
回答已采纳
2回答
我的桌子有三列。我想使用Selenium.IE获取第3列中的元素。然而，我不知道有多少行存在。我保证至少有一排
[@id="content"]/table/tbody/tr[1]/th[3]/span
[@id="content"]/table/tbody/tr[2]/td[3]/span
[@id="content"]/table/tbody/tr[3]/td[3]/span
我的Xpath看起来与上面的类似。在所有行中查找所有元素的推荐方法是什么？我是否应该使用“尝试-捕捉”，并且一旦找不到Xpath，我就知道最后一个索引(和文本)。
我使
浏览 3提问于2015-08-13得票数 0
回答已采纳
1回答
我知道我需要改进我的选择器来调整更具体的数据，但是我不知道为什么我的csv是空的。
我的解析类：
class MySpider(BaseSpider):
name = "wikipedia"
allowed_domains = ["en.wikipedia.org/"]
start_urls = ["http://en.wikipedia.org/wiki/2014_in_film"]
def parse(self, response):
hxs = HtmlXPathSelector(resp
浏览 2提问于2015-04-24得票数 1
回答已采纳
3回答
我需要对这样显示的表执行验证。
代码示例如何尝试查找复选框元素
//navigate t the second tr where the input and img tags are stored
List<WebElement> daysCheckBox = this.driver.findElements(By.xpath(".//*[@id='RULE_KEY']/div/div/div/div/div/center[1]/table[2]/tbody/tr[2]/td"));
System.out.prin
浏览 14提问于2017-07-19得票数 0
回答已采纳
我正在尝试通过.tableOne的类来查找tr。下面是我的代码：
browser = webdriver.Chrome(executable_path=path, options=options)
cells = browser.find_elements_by_xpath('//*[@class="tableone"]')
但是cells变量的输出是[]，一个空数组。
下面是该页面的html：
<tbody class="tableUpper">
<tr class="tableone">
浏览 0提问于2018-11-12得票数 0
我想不带标签就把数据组织起来。看上去像这样
<table class="SpecTable">
<col width="40%" />
<col width="60%" />
<tr>
<td class="LightRowHead">Optical Zoom:</td>
<td class="LightRow">15x</td>
</tr>
浏览 4提问于2012-04-25得票数 1
回答已采纳
3回答
我试图得到td中所包含的全部文本：
示例：
<td>
<p>Some Text</p>
<a>SAMPLE</a>
<table>
<tbody>
<tr>
<td>something</td>
....
</tr>
...
</tbody>
</table>
...
</td>
这个td里面有很多标签，这让我很难。连桌子都有。
在FirePath (火狐)中，我可以简单地附加
浏览 2提问于2016-10-14得票数 1
我正在尝试创建一个xpath表达式，它将在给定初始兄弟的情况下在dom中找到第一个匹配的兄弟(注意:初始兄弟将是Tom和Steve)。例如，我想在“Tom”树下查找“jerry1”。我已经研究了以下兄弟的争论，但我不确定这是最好的方法吗？有什么想法吗？
<tr>
<a title=”Tom”/>
</tr>
<tr>
<a title=”jerry1”/>
</tr>
<tr>
<a title=”jerry2”/>
</tr>
<tr>
浏览 0提问于2014-09-06得票数 2
2回答
我正在使用python+selenium模拟单击选项从下拉菜单
这是下拉菜单图片
下面是三个不同选项的页面源
<a onclick="DigitSelected('TabMasterContent','N','sub_3','3587822','C')"><table class="chRT"><tbody><tr><td class="chC1p">C</td><td class="
浏览 14提问于2019-12-24得票数 2
回答已采纳
给定表单的一系列元素
<td class="name">Product Name</td>
<td class="price">$10.00</td>
可以使用domdocument()将包含100个名称/价格对的页面解析为100个名称的组和100个价格的单独组。但是，如果缺少其中一个价格，您将得到一个包含100个名称的组和一个包含99个价格的组，并且不清楚哪种产品缺少其价格。
使用正则表达式解析名称/价格数据对(使价格可选)，可以识别出哪种产品缺少价格，因为结果是100对，其中一对的价格值为空。有没有办法使用do
浏览 4提问于2011-09-07得票数 1
我正在将一些使用正则表达式从html输出中提取内容的python脚本转换为libxml2，但由于我从这里开始，因此需要一些帮助。
如何使用lxml从以下示例的“工作目录”、“包/更新”和"Java数据模型“中提取值？
<tr>
<script>writeTD("row");</script>
<td class="oddrow"><nobr>Working Dir</nobr></td>
<script>writeTD("rowdata-l
浏览 4提问于2012-08-03得票数 3
回答已采纳
1回答
我有HTML：
<table>
<tbody>
<tr>
<td align="left" valign="top" style="padding: 0 10px 0 60px;">
<img src="/files/39.jpg" width="64" height="64">
</td>
<td align="left" valign="middle"><h1>30 R
浏览 0提问于2012-07-28得票数 2
回答已采纳
在我的code1中，它可以解析web来为我获取td内容。
code1
<?php
$url='http://www.sse.com.cn/marketservices/tradingservice/shhksc/eligible/';
$html = file_get_contents($url);
$dom = new DOMDocument();
@$dom->loadHTML($html);
$xpath = new DOMXPath($dom);
$nodes = $xpath->query('
浏览 3提问于2015-05-20得票数 1
回答已采纳
我的代码是
import scrapy
class CoinSpider(scrapy.Spider):
name = "coin2"
def start_requests(self):
url = "https://bitinfocharts.com/top-100-richest-bitcoin-addresses.html"
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
i=1
for row i
浏览 6提问于2021-12-14得票数 -2
我已经尝试了许多不同的网络抓取途径，并希望在这里得到一些帮助。我有一些Python代码，可以从我的网站第1页得到我想要的东西。
response = requests.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
results = soup.find(id='preblockBody')
results
print(results.prettify())
job_elems = results.find_all('table', class_='pbListingTable&
浏览 0提问于2020-03-11得票数 0
我运行下面的爬行器：
import scrapy
from ..items import PythonlibrariesItem
class BasicSpider(scrapy.Spider):
name = "libraries_python_pypi"
#allowed_domains = ["web"]
start_urls = [
'https://pypi.python.org/pypi?:action=browse&show=all&c=308'
]
def
浏览 0提问于2017-04-17得票数 0
1回答
我正在尝试使用以下代码从html输出中检索所有数据：
proxy_auth = "http://"+proxyUser+":"+proxyPass+"@"+proxyHost
proxy_handler = urllib2.ProxyHandler({"http": proxy_auth})
opener = urllib2.build_opener(proxy_handler)
opener = urllib2.build_opener()
urllib2.install_opener(opener)
request = ur
浏览 1提问于2012-08-18得票数 0
回答已采纳
我正在尝试从的这个表中提取数据。
每一行都由折页格式(数据被页眉替换)组成：
<tr class="data1"> <td class="left" nowrap="nowrap"><a>Player Name</a> (Country)</td> <td>Score</td> <td>Minutes Played</td> <td nowrap="nowrap">B
浏览 1提问于2014-08-19得票数 2
回答已采纳
我有一个很大的HTML电子邮件表，我试图找到特定电子邮件的名称，然后在这个元素中选择一个按钮。我可以很容易地通过XPATH找到表体，使用：
//*[@id="reportList"]/tbody
那么在这个表中有多个行(tr)，可以在所有表行中搜索文本吗？
我得到的最接近的是：
driver.find_element(By.XPATH, '//*[@id="reportList"]/tbody[contains(text(), "example text")]')
不幸的是，这不能定位元素。
我知道我可以简单地复制特定t
浏览 3提问于2018-07-05得票数 3
回答已采纳
我使用Selenium从表(TableExemple)上的一些元素获取文本：
element1 = driver.find_element_by_xpath("//table[@id='TableExemple']/tbody/tr[2]/td").text
element2 = driver.find_element_by_xpath("//table[@id='TableExemple']/tbody/tr[3]/td").text
element3 = driver.find_element_by_xpath("
浏览 0提问于2014-12-17得票数 1
回答已采纳
1回答
我想在html文件或文本中搜索链接中有"friend“的锚点。即：
然后，当它与一个锚匹配时，它应该返回href属性和锚(链接)。我尝试过用谷歌搜索，但到目前为止我还不能理解domXpath，其他示例只搜索href属性。我需要代码来证明这一点。
浏览 0提问于2013-11-30得票数 0
1回答
函数无法获得空的td元素。
、、、、
我对网络抓取是非常非常新的，而且我还在学习。目前，我正在使用Python和Scrapy来构建我自己的web刮板，但是我遇到了一些非常奇怪的事情。
我试着在这里刮一下这个网页，就像一个练习：
这基本上是一个网页，列出了世界各国的债务占GDP的比率。现在，如果您注意到，没有在该网页的表格中记录任何人口号码。
我试图使用这个xpath表达式从该网页中提取每个国家的人口：
import scrapy
import pandas as pd
class GdpDebtSpider(scrapy.Spider):
name = 'gdp_debt'
allow
浏览 3提问于2020-10-27得票数 0
回答已采纳
2回答
使用selenium查找空输入框
、、、、
我在一个网页上有多个输入框，其中包含以下xPaths：
//*[@id="swatch-visual-options-panel"]/table/tbody/tr[1478]/td[4]/input
//*[@id="swatch-visual-options-panel"]/table/tbody/tr[1480]/td[4]/input
//*[@id="swatch-visual-options-panel"]/table/tbody/tr[1481]/td[4]/input
其中一个是空的，所有其他的都有文本。正如您可能已经猜到的那样
浏览 5提问于2020-09-01得票数 0
1回答
程序是如何工作的？下载多个文件的循环，当你选择文件后，它打开了一个下载图标的iframe，按下文件后下载，程序关闭iframe并重新启动循环，选择一个新的项目，等等，问题发生在第二个循环后，它打开并选择它，它找不到下载图标。在相同的iframe内有相同的xpath的相同的图标，为什么在第二次尝试中找不到它？
def DownloadCurrentApprovals():
table=driver.find_element_by_xpath('//*[@id="ctl00_MainContent_ApprovalGridViewControl_ApprovalGridViewIn
浏览 6提问于2020-05-22得票数 0
我很感谢你以前多次问过这个问题，但当你觉得自己已经尝试过堆叠溢出的每一个解决方案时，你就该问一个问题了……
当我在表格上循环并单击特定行中的链接时，我正在接收一个StaleElementReferenceException。这是第一次它工作得很好，就在第一次迭代完成它的错误时。我完全明白这个错误想对我说什么，我只是不知道如何修复它:/
有关表格如下：
与其对应的HTML源：
<table CLASS="datadisplaytable" SUMMARY="This table displays the components of the course.
浏览 17提问于2022-05-09得票数 0
回答已采纳
我可以通过driver.find_element_by_xpath('//*[@id="app"]/table/tbody/tr[1]/td[1]')的xpath找到元素。但是有没有办法返回所有的子元素，比如tag和tag xpath呢？
<tr>
<td class="">
<div>
<a href="/user/1">
<!-- react-text: 6011 -->user firs
浏览 2提问于2017-04-19得票数 8
我有以下代码
<div>
<tr class="clickable-row" _ngcontent-c2="">
.
.
.
<tr class="clickable-row" _ngcontent-c2="">
<td _ngcontent-c2="">
<input type="checkbox" _ngcontent-c2="" value="">
</td>
&
浏览 0提问于2018-01-31得票数 1
2回答
我有一个Xpath，如下所示：
"//<path to some table>/*/td[1]/text()"
它返回所有非空tds的文本值，例如：
<text1>, <text2>, <text3>
但是问题是，在节点之间，包含提到的值可能是一些空的tds元素:我想要的是获得包含一些标识符的结果，例如，有那些空值：
<text1>,<>, <>, <text2>, <text3>, <>
或
<text1>,<null>, <n
浏览 7提问于2013-04-12得票数 1
回答已采纳
我只想获取每行的前3个<td>元素。
例如：“Vanessa 17 Sociology”，“Mike 18 Math”和“Sam 18 English”。
我如何在Selenium中使用web驱动程序来做这件事。
<table id= "table3">
<thead> </thead>
<tbody>
<tr class="odd">
<td> Vanessa </td>
<td> 17 </
浏览 14提问于2020-03-13得票数 1
回答已采纳
假设我有一个格式不正确的html页面：
<table>
<thead>
<th class="what_I_need">Super sweet text<th>
</thead>
<tr>
<td>
I also need this
</td>
<td>
and this (all td's in this and subsequent tr's)
</td>
</tr>
<tr&
浏览 1提问于2012-07-12得票数 3
3回答
如果这是一个愚蠢的问题，很抱歉--我对Selenium是个新手。
我有一个我正在测试的网页，在一个表格中有几个超文本链接。HTML如下所示：
<table>
<thead>
<tr>
<td><b>History</b></td>
<td><b>Attributes</b></td>
<td><b>Xml</b></td>
</tr>
</
浏览 3提问于2012-10-26得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
