Python web抓取脚本无法通过xPath找到元素，即使该元素存在

文章/答案/技术大牛

发布

1回答

python、web-scraping、xpath、html-parsing

目前，我正在开发一个小脚本，应该提取的名称，链接，价格和最便宜的产品的形象给出了一个价格比较网站的链接我的国家。示例链接将如下所示：https://geizhals.at/?/usr/bin/env python3from lxml import htmllink = "http

浏览 12提问于2021-01-31得票数 0

3回答

有没有可能找到一个像按钮这样的元素，并在它不断移动的时候点击它？例如，旋转木马

ruby、selenium

我正在使用Selenium Webdriver(Ruby)自动化我的web应用程序，我的web应用程序有一个旋转木马，其中我的元素不断地在循环中移动。当我找到该元素并尝试单击它时，元素移动了，但我无法找到该元素。我尝试通过以下代码查找并单击移动元素： ele_button = driver.find_element(:xpath</em

浏览 0提问于2014-02-11得票数 4

1回答

在搜索子元素时，Python* Selenium不在父元素中*

python、selenium

我首先抓取包含它们服务的所有div，这样我就可以知道它们是否提供外卖、送货等服务。然后，在循环以确定它们是否包含绿色标记跨度之后，但是每当我搜索它时，它不会停留在父元素中，即使我使用该元素作为我的搜索驱动程序。我试图找到包含这个类‘图标’--24-复选标记-v2 css-yyirv3 3‘的所有跨度，但是每当我的脚本到达循环，而不是在父元素中搜索时，find_element_by_xpath将搜索整个页面，所以它始终是正确的，

浏览 1提问于2021-06-08得票数 0

回答已采纳

2回答

使用Python和Selenium将鼠标悬停在图上

python、selenium、hover

我正在尝试使用Python和Selenium从中抓取数据。困难的部分是，只有当将鼠标悬停在折线图上的点上时，数据才会出现。目前，我的问题是无法创建所有悬停在对象上的列表。以前，我在我的所有抓取项目中都使用了beautifulsoup，但我已经重新做了一些以前的项目，以确保我理解Selenium是如何工作的，并且没有出现问题。我尝试了许多Xpath (和其他find_elements_by选项)，但只能得到两个结果：(1) xpath有效，但不包含任何元素；(2) Inv

浏览 0提问于2018-01-10得票数 3

1回答

修补程序找不到元素，但是Firebug或Selenium IDE可以找到元素

selenium、webdriver、selenium-webdriver、xpath、selenium-ide

在我的web应用程序中查找web元素时，我遇到了问题。当我使用Selenium时，可以找到该元素。在Firebug或Chrome中，开发工具也是可以的(元素可以通过xpath找到)。但是，当我在FirePath、FireFinder或WebDriver脚本(java)中使用相同的xpath表达式时，会发现任何元素。这是示例元素的html代码： &

浏览 0提问于2016-03-09得票数 1

回答已采纳

2回答

selenium抓取在前几个元素后返回空字符串

python、selenium、xpath、automated-tests

我正在使用python中的selenium抓取一个网站。xpath能够找到包含搜索结果的20个元素。但是，该内容仅对前6个元素可用，其余元素为空字符串。结果的所有页面都是如此results = driver.find_elements_by_xpath("//li[contains(@class, 'search-result search-result_

浏览 3提问于2017-03-03得票数 3

2回答

获取具有特定span类python* selenium的页面中的所有元素*

python、selenium、html-table

您好，我正在尝试使用python中的selenium抓取多个页面。我感兴趣的是提取属于span类元素的所有元素，基本上我想做的是获取span类元素，然后提取其中的链接。对于每个页面，都可以通过使用xpath来实现这一点，但是每个对象和每个页面的xpath都会发生变化。下面是一个web元素的示例： 📷 基本上，我想提取元素，这是一致的，在所有的页面，我将抓取。所以我的想法是获

浏览 30提问于2020-10-29得票数 0

回答已采纳

2回答

selenium -如何使用父元素查找元素？

xpath、selenium、webdriver、selenium-webdriver

我使用selenium作为web抓取器，希望定位多个表，然后为每个表(通过循环)定位该表中的一个元素(无需再次遍历整个文档)。我正在使用Iwebelement.FindElements(By.XPath)，但一直出现错误，提示'element no longer connected to DOM‘IList[IWebElement] elementsB = driver.FindElements(By.XPath("

浏览 2提问于2013-04-02得票数 0

1回答

如何使用Python从这个表中抓取数据？

python、html、web-scraping、data-mining

我想用Python脚本将表中的数据保存到Excel文件中，这也不是问题。然而，该网站的源代码并不包含任何我想要的价值。如果我使用Chrome插件"DataMiner"，它可以读出数值。我如何在Python中实现这一点？在图片中，显示了我想要抓取的数据。不幸的是，这些数据并没有包含在源代码中。webdriver.Chrome()time.sleep(5)print(htmlSource

浏览 6提问于2021-12-03得票数 0

1回答

如何使用Selenium + Python从网站访问id中的子id

python-3.x、selenium、web-scraping

当我试图访问搜索选项卡中的搜索栏时，我试图从https://corpus.byu.edu/iweb/中提取数据，Python + Selenium给出了一个NoElement找到的异常。当我试图通过id在网站上打印所有元素时，我只得到一个名为“myFrames”的元素。如何访问myFrames中存在的元素？“p”是网站“搜索”选项卡中搜索栏的id。我尝试了以下几点： browser.find_element_by_xpat

浏览 0提问于2018-06-20得票数 0

回答已采纳

2回答

使用Selenium通过xpath查找表元素只返回html源中存在的元素，但xpath会突出显示inspect中的所有元素

selenium、selenium-webdriver、web-scraping、xpath、web-crawler

我正在尝试从这个网站的一个表中抓取数据：https://prosettings.net/cs-go-pro-settings-gear-list/。鼠标敏感度是我一直尝试获取的第一个值。当通过xpath: //table@id="table_1"/tbody/tr/td8进行搜索时，所有需要的元素都会在inspect/developer工具中突出显示。使用webdriverwait和find_elemen

浏览 19提问于2021-09-06得票数 0

3回答

如何检查元素在页面中是否存在

python、selenium、selenium-webdriver

我的工作是使用selenium.webdriver类在使用python的页面中单击按钮。如果我试图通过xpath在页面中找到一个元素，那么在使用该元素之前，该元素有时可能不是exist.So，我应该检查该元素是否存在。解决这个问题最流行的方法是使用try...expect语句。像这样 try:

浏览 10提问于2022-09-14得票数 0

2回答

在Selenium测试中使用WebElement文本获取XPath

java、css、selenium、xpath、selenium-webdriver

我想找到任何基于文本的WebElement使用XPath。我有兴趣找到的WebElement，它的HTML，基本上，我试图通过文本检索的WebElement包含一个输入元素。我现在用，它没有找到上面的WebElement，但是它通常可以

浏览 2提问于2015-10-01得票数 6

回答已采纳

2回答

使用Selenium Python查找<td>元素

python、selenium、selenium-webdriver、xpath、xpath-1.0

我是python的新手，我正在尝试写一个web抓取脚本。我试图双击这个元素(它既不是按钮也不是链接--只是一个td元素)，但我一开始就很难找到它。=" cellselected "我使用了css选择器& xpath我都试过了： drive

浏览 0提问于2019-08-04得票数 0

2回答

使用Selenium查找具有给定src链接的图像，然后单击

python、html、selenium、xpath、web-scraping

这是我想要抓取的网站的html代码 <div> <a class="" onclick="" href="https://www.blablabla.com</span> </div> </div> IMAGELINK = "http://www.

浏览 38提问于2020-11-01得票数 0

1回答

创建定义检查URL是否有效如果未找到，请转到其他URL编辑该字段，但检查当前URL，然后提取正确的信息

selenium-webdriver、python-3.7

尝试创建定义检查URL是否有效如果未找到则转到其他URL按下按钮编辑该字段但检查当前URL，然后从配置中提取正确的信息并发送到下面的文本字段 <tbody><tr>tbody> def licenses(value): gotoURL(builder+value) g

浏览 18提问于2019-03-23得票数 1

回答已采纳

1回答

Selenium显式等待错误地接受EC.visibility_of_element_located xpath元素

python、selenium、pytest

, '//div[@class="ant-card ant-card-bordered" and //*[contains(text(), "Access Points")]]'))) 其中该特定的xpath元素在页面上不存在。Image of page where xpath element does not exist 因此，我预计测试用例会失败。奇怪的是，它确实使用docker镜像按照预期工作，并成功

浏览 109提问于2021-04-30得票数 2

4回答

如何在网页中的特定div中垂直向下滚动？

java、javascript、webdriver、selenium-webdriver

我要测试的网页下面隐藏了一个链接，我试图通过使用xpath或元素的ID属性搜索它，但是在运行web驱动程序脚本时无法找到它。即使它没有对该元素产生任何错误，我也会在下一个命令/行中得到一个错误。我在论坛上找到了下面的代码，整个页面都在滚动。我不想这样，我想垂直向下滚动在一个特定的div区域，在屏幕截图中。

浏览 6提问于2013-09-05得票数 2

回答已采纳

1回答

查找以开头和结尾的xpath

selenium、xpath

遵循我从浏览器复制的xpath (检查) # // *[ @ id = "customize-coverage--customize-your-quote--propertyDamage-1--info-title"] 我正在尝试读取元素，但它无法使用下面的xpath找到它有没有什么办法可以通过硒来定位上面的元素？我不确定为什么驱动程序不能定位web元素。return self.page_el

浏览 21提问于2020-09-09得票数 0

1回答

如何从Chrome inspector获取原始XPath？

google-chrome、xpath、screen-scraping

当我使用Google Chrome超酷的元素检查器来查找元素的XPath时，它返回了原始HTML中不存在的东西，比如<tbody>。显然，Chrome会推断出某些东西来使页面呈现更流畅；这很好。但我需要在Chrome之外的脚本中使用XPath。因此，我通常使用Chrome的XPath，然后反复试验，直到XPath在其他环境(在我的例子中，是用Python或Node.js编写的脚本)中实际工作为止。有什么

浏览 0提问于2013-03-02得票数 2

点击加载更多