在python中使用XPath提取包含关键字的href值
在Python中使用XPath提取包含关键字的href值，可以通过以下步骤实现：
- 导入必要的库：
import requests
from lxml import etree- 发送HTTP请求获取网页内容：
url = "待提取的网页URL"
response = requests.get(url)
html = response.text- 使用XPath解析HTML内容：
tree = etree.HTML(html)- 使用XPath表达式提取包含关键字的href值：
keyword = "待提取的关键字"
xpath_expr = f"//a[contains(@href, '{keyword}')]/@href"
href_values = tree.xpath(xpath_expr)在上述代码中，xpath_expr是XPath表达式，使用了contains()函数来筛选包含关键字的href值。@href表示提取href属性的值。
- 打印或处理提取到的href值：
for href in href_values:
print(href)以上代码将打印提取到的href值，你可以根据实际需求进行进一步处理。
关于XPath的概念，它是一种用于在XML和HTML文档中定位元素的语言。XPath使用路径表达式来选择节点或节点集合。它具有灵活的语法和强大的功能，常用于解析和提取HTML或XML文档中的数据。
XPath的分类包括绝对路径和相对路径。绝对路径从根节点开始，一直到目标节点的完整路径。相对路径则是相对于当前节点的路径。
使用XPath的优势在于它可以通过简洁的语法快速定位和提取所需的数据，尤其适用于复杂的HTML或XML结构。
在云计算领域中，使用XPath提取包含关键字的href值可以用于爬虫、数据挖掘、信息抓取等应用场景。
腾讯云提供了多个与云计算相关的产品，其中与爬虫和数据挖掘相关的产品是腾讯云爬虫服务（https://cloud.tencent.com/product/cds）和腾讯云数据挖掘（https://cloud.tencent.com/product/dm）。
以上是关于在Python中使用XPath提取包含关键字的href值的完善且全面的答案。
相关·内容
1回答
我正在使用python selenium捕获源代码。
elem = browser.find_element_by_xpath("//*")
source_code = elem.get_attribute("outerHTML")
我需要从源代码中提取元素，该源代码包含一个关键字，例如- jam、蜂蜜、choc和print，名为recipes.txt。
/items/John-string-jam-trac.html
这些是href值格式的示例。
<a href="/items/John-string-jam-string.html"
浏览 5提问于2016-03-19得票数 2
回答已采纳
我正在尝试获取锚标签中的信息，但不是href。我想从易趣上的几个卖家那里提取评分。在下面的HTML代码中，您可以看到可以找到评级分数的位置。有没有办法在不使用href的情况下获得有关"Bewertungspunktestand“(德语中的评级得分)的信息，因为href随卖方而变化。此示例中的评分分数为32。由于文本"Bewertungspunktestand“仅在此行中，我认为可以让它搜索此文本并提取其中包含此文本的aria-label。
这是本例的链接：
这是我尝试过但没有成功的python代码：
try: trans = driver.find_element_by_xpa
浏览 12提问于2020-12-10得票数 0
1回答
我有一段代码：
class MySpider(Spider):
name = 'smm'
allowed_domains = ['*']
start_urls = ['http://www.theguardian.com/media/social-media']
def parse(self, response):
items = []
#Define keywords present in metadata to scrap the webpage
keywords = ['social media',&
浏览 0提问于2014-12-04得票数 0
我正在尝试获取一个<a>元素，以防它的嵌套(内部) <h3>标记包含特定文本。我该怎么做呢？假设结构如下：
<a href="https://example.com">
<section class="section">
<div class="section-content">
<div class="section-inner">
<h3>
浏览 9提问于2020-12-05得票数 0
我正在尝试提取HTML标记中包含的文本，以便构建一个python defaultdict。要做到这一点，我需要清除所有xpath和/或HTML数据，并只获取文本，这是我可以用/text()完成的，除非它是一个href。
我是如何刮东西的：
for item in response.xpath(
"//*[self::h3 or self::p or self::strong or self::a[@href]]"):
如果不尝试提取，打印上面的内容会是什么样子：
<Selector xpath='//*[self::h3 or self::p or sel
浏览 1提问于2021-01-29得票数 1
回答已采纳
我想提取网站中所有链接的‘链接文本’和‘链接地址’。我想要的是立即提取这些数据，并将其保存在一个对象中。 # here is what i tried in python:
urls = response.xpath('//a[@class="link-on-click grayhover"]/@href|/span/text()').extract()
// here is what the html code looks like:
<div>
<a class="link-on-click grayhover
浏览 81提问于2019-03-23得票数 1
回答已采纳
2回答
我试着写了一些机器人测试用例，结果被卡住了。我需要从一个页面中提取一些链接。链接存储在<li>标记中，该标记也存储在<ul>中。问题是，在提取第一个链接之后，我需要转到下一个<li> (第一个<li>下一个兄弟级)，但是如何在没有错误或应用程序停止的情况下找到下一个兄弟姐妹。我知道，我可以使用Element Should Contain关键字，但如果它不包含，我会得到一个错误。
我想做这样的事：
if next sibling exist do something
else go do something else
html应该是这样的。
&l
浏览 1提问于2020-12-08得票数 0
回答已采纳
我有一件工作，我需要从URL提取HTML内容。HTML文件中包含href链接，而href链接包含XML数据。我需要提取它并对其进行解析，以获取xml数据。
目前，我已经实现了从html中的URL提取数据的代码。我的问题是如何从HTML中获取xml。
HTML格式如下：
<!doctype html>
<html>
<head>
<meta charset="UTF-8">
<title>Directory Contents</title>
<link rel="styleshee
浏览 0提问于2014-08-10得票数 0
1回答
使用部分href信息提取多个文本
、、、、
我试图从下面的网站中提取多种类型。(我已经知道网址了)
<div class="profile">
<h1 id="profile_title" class="hide_mobile has_action)menu">...<h1>
<div class="head">Genre:<div> ==$0
<div class="content">
<a href="/genre/electronic"
浏览 3提问于2022-04-18得票数 1
回答已采纳
1回答
我正在使用Python 3和Scrapy。这是我HTML的一部分：
<div class="class=a1">
<span class="a-small">TEXT <a class="a-nm" href="/a/b=data1?ie=UTF8&what-i-want=Nice+Home&the-data=correct&text=ABA+DNA&sort=yes">That's Correct
</spa
浏览 2提问于2018-05-04得票数 1
回答已采纳
1回答
我希望提取一个xpath字段，并根据字段中包含的内容对其进行操作，在本例中，我希望xpath检测该字段是否包含一个单词，如果字段不包含X处理，则执行Y处理，然后将其插入我的刮伤项中。
我将尝试用伪代码和实际的xpath代码一起解释它。
我尝试使用.extract()，将字段作为字符串进行操作，然后将其插入到项目中，遇到了许多不同的问题，而且非常混乱。
#my current code
new.add_xpath('source',"substring-before(.//h3/a/@href,'?')")
#what i wanna achiev
浏览 0提问于2019-05-07得票数 0
回答已采纳
我试图从具有不同xpath但非常可预测的href方案的元素中访问文本，这些元素跨越web数据库中的多个页面。下面是一些示例：
<a href="/mathscinet/search/mscdoc.html?code=65J22,(35R30,47A52,65J20,65R30,90C30)">
65J22 (35R30 47A52 65J20 65R30 90C30) </a>
在本例中，我想提取"65J22 (35R3047A52 65J20 65R3090C30)“。
<a href="/mathscinet/sea
浏览 0提问于2018-07-16得票数 3
回答已采纳
4回答
如何从给定的锚标记中提取标题
、、、、
如何获得xpath以从此html行提取标题。
没有任何有用的东西，因为cssClass会随着时间的推移而改变，所以代码可能会中断。我认为，由于href和这个标记中的文本都是我想要提取的名称，所以可能使用相等条件。
<a class="FPmhX notranslate nJAzx" title="ceorackz_adpp" href="/ceorackz_adpp/">ceorackz_adpp</a>
我希望python代码兼容，要么使用selenium调用，要么使用普通regex来获取这个锚标记的标题或文本。
浏览 6提问于2019-06-22得票数 0
回答已采纳
我在Python中使用lxml解析一些HTML，并希望提取到图像的所有链接。我现在的做法是：
//a[contains(@href,'.jpg') or contains(@href,'.jpeg') or ... (etc)]
这种方法有几个问题：
您必须列出所有情况下可能的图像扩展( "jpg“和"JPG")，在奇怪的情况下，wich并不是优雅的，href可能在中间的某个位置包含.jpg，而不是在字符串的末尾。
我想使用regexp，但失败了：
//a[regx:match(@href,'.*\.(?:png|jpg|jpeg
浏览 4提问于2010-12-01得票数 5
回答已采纳
已尝试从以下位置提取href： <a lang="en" class="new class" href="/abc/stack.com"
tabindex="-1" data-type="itemTitles"><span><mark>Scott</mark>, CC042<br></span></a> 使用elems = driver.find_elements_by_css_selector(".new class
浏览 32提问于2020-04-09得票数 1
回答已采纳
快速而简单：
<a href="some content">Click here</a>
如何在python上使用xpath提取“一些内容”和“单击我”？
到目前为止，我得到了以下内容(仅从href结果中提取“一些内容”)：
import lxml.etree as LE
import requests
r = requests.get("http://localhost")
html = r.text
root = LH.fromstring(html)
print root.xpath('//a/@href')
非常
浏览 0提问于2013-03-07得票数 4
回答已采纳
3回答
如何选择没有HTML标记的文本
、、、、
我正在开发一个web刮刀(使用Python)，所以我有一块HTML，我试图从中提取文本。其中一个片段看起来如下所示：
<p class="something">This class has some <strong>text</strong> and a few <a href="http://www.example.com">links</a> in it.</p>
我想从这节课中提取课文。现在，我可以用一些类似于
//p[@class='something')]//tex
浏览 2提问于2015-04-01得票数 2
回答已采纳
我有一个简单的HTML文件，其中包含用户名和指向其子页面的链接：
<a href="/user/someUserName@domain.com">someUserName@domain.com</a>
<a href="/user/someUserName">someUserName</a>
我使用
xpath('.//a/text()').extract_first()
要提取纯文本形式的用户名，请执行以下操作。
我有一个问题，当用户以电子邮件的形式指定用户名(见第一个例子)-在这种情况下返回空对
浏览 0提问于2018-06-04得票数 0
例如，我有自定义html文档。
<html>
<head>
<title>Urls</title>
</head>
<body>
<a href="https://www.google.com">Google</a>
<a href="https://facebook.com">Facebook</a>
<a href="http://www.example.com">Example&
浏览 3提问于2020-07-06得票数 1
回答已采纳
我有这个问题，我需要访问MSXML IXMLDOMDocument2接口中的处理指令。
是否可以执行XMLDocument.load()并访问xml-stylesheet指令？
如果是的话，该怎么做呢？
我有以下xml：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="transform.xsl"?>
...
我需要提取xml-stylesheet href值。
但是XMLDocument在XMLDocument.load()操作之后似乎不包含这个处
浏览 4提问于2020-11-26得票数 0
回答已采纳
我是selenium和python的新手，所以我的总体目标是从Hoover网站中提取公司的收入价值。
当前代码：
company = 'Trelleborg'
page = 'https://hoovers.com/company-information/cs.html?term=' + company
driver.get(page)
r = driver.find_element_by_xpath('//td/font[@class="company_sales"]').text
print(r)
用于所需收入的HTML
&
浏览 0提问于2019-01-25得票数 0
回答已采纳
这是示例HTML。
<html>
<a href="HarryPotter:Chamber of Secrets">
text
</a>
<a href="HarryPotter:Prisoners in Azkabahn">
text
</a>
</html>
我现在的情况是我需要提取
Chamber of Secrets
Prisoners in Azkabahn
我在使用xpathb1.0的python中使用lxml 4.2.1。我曾尝试使用XPath
浏览 0提问于2019-01-03得票数 1
我得到了这个xpath查询：
/html/body//tbody/tr[*]/td[*]/a[@title]/@href
它提取所有带有标题属性的链接-并在中给出href。
但是，我似乎不能在lxml中使用它。
from lxml import etree
parsedPage = etree.HTML(page) # Create parse tree from valid page.
# Xpath query
hyperlinks = parsedPage.xpath("/html/body//tbody/tr[*]/td[*]/a[@title]/@href")
f
浏览 0提问于2010-01-18得票数 5
回答已采纳
3回答
全。我有一个巨大的html文件，其中包含这样的标记：
<h3 class="r">
<a href="http://en.wikipedia.org/wiki/Digital_Signature_Algorithm" class=l onmousedown="return clk(this.href,'','','','6','','0CDEQFjACOAM')">
我需要在python中从这个页面中提取所有的urls。
在一个
浏览 3提问于2011-06-05得票数 2
回答已采纳
2回答
Xpath //a[contains(@class, 'storylink')]/@*将提取锚标记的所有属性。我的xml中的锚标记没有标题属性，该属性通常包含链接的内容。是否有一种方法可以在 1.0的锚链接中同时选择href和文本内容？
浏览 0提问于2018-04-02得票数 2
回答已采纳
我很难弄清楚为什么我不能通过nokogiri正确地解析关键字。在下面的示例中，我让a href链接文本功能正常工作，但不知道如何提取关键字。
这是我到目前为止所拥有的代码：
.
doc = Nokogiri::HTML(open("http://www.cnn.com"))
doc.xpath('//a/@href').each do |node|
#doc.xpath("//meta[@name='Keywords']").each do |node|
puts node.text
……
这成功地渲染了页面中的所有a href
浏览 1提问于2010-08-10得票数 5
回答已采纳
我正在使用Scrapy的SitemapSpider浏览一张Shopify商店的列表。我正在用XPath从他们各自的收藏中提取所有的产品。通常情况下，这样做并不难。但是，集合页面的html在不同站点之间有几种不同的方式。我将尝试总结一些有必要的要点，以了解我到底想要做什么：
所有产品链接都在div元素中。
我的a标记的div祖先的数量不一致。
div元素中a标记的深度不一致。
可以在div元素中包含一个或两个包含href的标签。每个地点都不一样。如果有两个，它们将是相同的。
div元素的类名不一致，因此为了简单起见，我删除了它们
因此，包含我想要的产品链接的代码可以在
浏览 1提问于2017-09-16得票数 2
回答已采纳
Regex确实让我头疼。每次我前进一步，我就有一种后退两次的感觉！我正在尝试提取包含任何名字的标记之前的最后一个标记的class属性。
我随机发现了，我认为这将是一个很好的实践例子。我正在试着写一个通用的规则！没有特别适用于该网站的内容。唯一的假设是我知道名字是什么，并且它包含在一个标记中(div，span，h1，...)具有特定的类。下面是我的正则表达式测试：
re.findall(r'(?:class="(.+)".+){2}.*' + val, source) #'source' is the source code of the page
浏览 0提问于2020-04-15得票数 0
在我的代码中，我想从我的旧网站中提取所有链接和它们的文本，但问题是，我在某个地方使用了ol>li标记，而我在表中使用了ul>li标记，我有大约400个不同的页面，我可以提取所有的链接，但是每次我都必须将ol更改为ul，所以从所有页面中提取链接和它们的文本的最简单和省时的方法是定义包含链接的特定<table>，但是当我定义<table>时，它也从其他不想要的表中提取链接。
包含ol>li或ul>li标记的目标表结构。
<table style="width:850px;" cellspacing="0" cel
浏览 4提问于2017-09-10得票数 0
回答已采纳
我有一些href的部分值(例如。href的查询值)不是一个完整的值。在这种情况下，选择元素的最佳方法是什么(用于单击、发送关键字等)？
我试过很多方法，但效果不是很好。特别是，在获得html源代码后，我使用're‘模块提取了完整的href。然后，我使用了'webdriver.find_element(By.XPATH，“//a@href=‘full href'")，但结果是'NoSuchElementError’。(我假设服务器不断更改href的某些部分)
不管怎样，找到和选择元素的最好方法是什么？(python3.6 / selenium模块/ Pha
浏览 16提问于2017-06-28得票数 0
2回答
错误的url提取
、、
我是从我的网站上的用户输入通过一个文本区域。输入可以包含标签。
我想从输入中提取网址。
$res = get_magic_quotes_gpc() ? stripslashes($data) : $data;
$res = mysql_real_escape_string($res); // php 4.3 and higher
preg_match('#href\s*?=\s*?[\'"]?([^\'"]*)[\'"]?#i', $res, $captures);
浏览 5提问于2011-12-19得票数 0
假设我有三个链接的html代码
<a href="hey123"> Whatever </a>
<a href="hey321"> Whatever </a>
<a href="hi123"> Whatever </a>
我想使用selenium查找所有具有href标记的元素，其中包含字符串“嘿嘿”(在本例中是前两个链接)。我将如何编写完成这一任务的python Selenium代码？
浏览 1提问于2022-02-28得票数 0
回答已采纳
如何才能强制python忽略IndexError，而不使用try & except来提取每个值呢？
我的XML有多个需要提取的值。有些记录在根目录中没有值/，因此我必须为提取的每个节点手动使用try & except IndexError:。
下面是我的代码：
try:
a = etree.XPath('/Data/a/b/nodeA/text()')(root)[0]
except IndexError:
a = ''
try:
b = etree.XPath('/Data/a/b/x/y/nodeB/t
浏览 3提问于2012-09-22得票数 1
回答已采纳
我想使用python从下面的html中提取html的一部分。我的问题只是想提取html部分，包括标记和文本，这个问题是提取html的文本部分，所以这两个问题是不同的。
<html>
<body>
<div class ＝"item">
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"
浏览 1提问于2016-06-07得票数 0
回答已采纳
将包含表的行加载到create list中，还是在这种情况下使用哪种方式更好？然后，这些选定的特定行单击按钮“我是初学者”。谢谢。
@{elements}= Create List xpath://td[text()="In Stock"]
:FOR
${element} IN @{elements}
浏览 0提问于2019-10-14得票数 0
在尝试从类中选择数据时，我遇到了问题。我需要做的是获取每个类的第三个td (报告名)(名为“奇数”或“偶数”)，然后将其与python中的字符串变量(即提交的报告的名称，例如“report 2的名称(擦掉)”)进行比较，如果匹配，则需要获取第一个TD的值。我只需要能够在第三个td中使用这个报告名来获取这个数字。有什么想法吗？我尝试了CSS选择器，比如
driver.find_element_by_xpath("//table[contains(@class, 'data') and contains(., 'Name of Report 1 (scrubbed)
浏览 1提问于2018-04-05得票数 1
回答已采纳
2回答
无法获取表头元素
、、、
在Python中，我有一个变量，其中包含一个html表元素，如下所示：
page = requests.get('http://www.myPage.com')
tree = html.fromstring(page.content)
table = tree.xpath('//table[@class="list"]')
table变量的内容如下：
<table class="list">
<tr>
<th>Date(s)</th>
&l
浏览 0提问于2016-04-26得票数 1
我正在使用xPath尝试从表的以下部分获取title文本：
<td class="title" title="if you were in a job and then one day, the work..." data-id="3198695">
<span id="thread_3198695" class="titleline threadbit">
<span class="prefix">
浏览 1提问于2015-03-14得票数 0
回答已采纳
4回答
我得到了包含如下条目的html：
<div class="entry">
<h3 class="foo">
<a href="http://www.example.com/blog-entry-slug"
rel="bookmark">Blog Entry</a>
</h3>
...
</div>
我想提取文本"Blog Entry“(以及其他一些属性，所以我正在寻找一个通用的答案)。
在jQuery中，我会这样做
$(&#
浏览 1提问于2010-12-13得票数 10
回答已采纳
1回答
Xpath不匹配
、、、、
我正在尝试从页面中获取一些元素。不幸的是，它的结果是一个空列表。打印得很漂亮的树包含以下元素：
<html:a title="..." href="..." id="..." class="topic_title">...</html:a>
但是，当我在同一棵树上执行此操作时：
page.xpath('''.//a[@class="topic_title"]''')
我得到了一个空的列表。这棵树是用html5lib / lxml树构建器创建的。
浏览 1提问于2011-08-20得票数 1
需要帮助提取text1、text2、text3 (我指的是所有文本，有时直到类别中的text9 )
<h4>Category:</h4>
<p><a href="">text1</a>, <a href="">text2</a>, <a href="">text3</a></p>
我的英格拉底代码只提取text1
TAG POS=R1 TYPE=A ATTR=TXT:* EXTRACT=TXT
问:如何提取类别中
浏览 10提问于2017-08-18得票数 0
1回答
在python3中使用chrome和xpath，我尝试提取"href“属性的值。"href“属性包含我感兴趣的电影预告片的链接(法语中的”bande-annonce“)。
首先，使用xpath，看起来"a“标记是一个"span”标记。实际上，使用以下代码：
response_main=urllib.request.urlopen("http://www.allocine.fr/film/fichefilm_gen_cfilm=231874.html")
htmlparser = etree.HTMLParser()
tree_main
浏览 1提问于2017-03-20得票数 1
我正试图解析一个网站。我需要一些链接在HTML文件，其中包含一些特定的词。我知道如何找到"href“属性，但我不需要所有这些属性，有这样的方法吗？例如，我可以在HtmlAgilityPack中使用regex吗？
HtmlNode links = document.DocumentNode.SelectSingleNode("//*[@id='navigation']/div/ul");
foreach (HtmlNode urls in document.DocumentNode.SelectNodes("//a[@]"))
{
浏览 6提问于2017-09-24得票数 1
回答已采纳
我运行下面的爬行器：
import scrapy
from ..items import PythonlibrariesItem
class BasicSpider(scrapy.Spider):
name = "libraries_python_pypi"
#allowed_domains = ["web"]
start_urls = [
'https://pypi.python.org/pypi?:action=browse&show=all&c=308'
]
def
浏览 0提问于2017-04-17得票数 0
我目前正在学习Python，作为我自己的一个项目，我正在学习如何使用Selenium与网站交互。我已经在HTML中通过id找到了元素，但是当我不知道如何引用元素内部的标题时。在本例中，我只需要<h4>中的字符串。 <div class="estimate-box equal-width" id="estimate-box">
<a href="#worth" id="worthBox" style="text-decoration: none;">
浏览 25提问于2020-04-28得票数 1
回答已采纳
1回答
在Python中，通过lxml的XPath一直让我在圈内运行。我无法从HTML表中提取文本，尽管我认为它是正确的XPath。我使用Chrome检查和提取XPath，然后在我的代码中使用它。
下面是直接从页面获取的HTML表：
<div id="vehicle-detail-model-specs-container">
<table id="vehicle-detail-model-specs" class="table table-striped vdp-feature-table">
<!-- Price
浏览 2提问于2017-12-31得票数 0
回答已采纳
我正在接收一个XML负载响应目标系统，它遵循以下结构.
<feed xmlns="http://www.w3.org/2005/Atom">
<title/>
<id>7c818dcd-d66a-4273-b043-ff468b956d1b</id>
<link rel="self" href="http://fhirtest.uhn.ca/baseDstu1/Patient?address=usa"/>
<link rel="next
浏览 3提问于2015-07-30得票数 1
回答已采纳
我正在尝试在selenium python中从警告消息中提取消息
<div ng-hide="authorizationMessage">
<div class="ng-valid-maxlength ng-dirty ng-valid-parse ng-valid ng-valid-required" ng-form="cohortForm">
<div class="alert alert-success ng-binding" role="alert" ng-show="
浏览 0提问于2017-04-13得票数 0
1回答
我试图在python中使用selenium和BF从VirusTatol.com中提取数据和in。在我的get请求中，我得到了视图源HTML，而不是包含所有数据的HTML，比如在检查模式(F12)中。
关于如何在检查模式下提取HTML页面的一些想法？
谢谢
浏览 1提问于2022-01-24得票数 0
回答已采纳
想象一下下面的HTML
<div class="group>
<ul class="smallList">
<li><strong>Date</strong>
some Date
</li>
<li>
<strong>Author</strong>
some Name
</li>
<li>
浏览 7提问于2020-05-19得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
