按list元素中的类从html元素中抓取文本
从HTML元素中抓取文本可以通过以下几个步骤实现：
- 使用HTML解析库：可以使用Python中的BeautifulSoup库或者JavaScript中的Cheerio库等，来解析HTML文档，将其转换成可操作的数据结构。
- 定位目标元素：根据需求，确定要抓取文本的目标元素的类名或标签名等特征。通过使用解析库提供的选择器语法，如CSS选择器或XPath，来定位目标元素。
- 提取文本内容：一旦定位到目标元素，可以使用解析库提供的方法来提取文本内容。在BeautifulSoup中，可以使用
.text属性或.get_text()方法来获取元素的文本内容。在Cheerio中，可以使用.text()方法来获取元素的文本内容。
以下是示例代码，以Python和BeautifulSoup为例：
from bs4 import BeautifulSoup
# 假设html_content是HTML文档的字符串
html_content = """
<html>
<body>
<div class="content">
<h1>Hello World</h1>
<p>This is a paragraph.</p>
</div>
</body>
</html>
"""
# 使用BeautifulSoup解析HTML文档
soup = BeautifulSoup(html_content, 'html.parser')
# 定位目标元素并提取文本内容
target_element = soup.select_one('.content') # 使用CSS选择器定位目标元素
text_content = target_element.get_text(strip=True) # 提取目标元素的文本内容，strip参数用于去除首尾空白字符
print(text_content)上述代码中，我们首先将HTML文档传入BeautifulSoup解析器，然后使用CSS选择器定位到class为"content"的div元素。最后，使用get_text()方法获取该元素及其子元素的文本内容，并使用strip=True参数去除文本中的首尾空白字符。
推荐的腾讯云相关产品：腾讯云CVM（云服务器）用于部署和运行网站、应用程序等。产品介绍链接：https://cloud.tencent.com/product/cvm
相关·内容
1回答
我对从网站上抓取内容并将其放入数组感兴趣。具体来说，我感兴趣的是通过识别纯文本所在的html元素，将纯文本抓取到数组中。我正在与Java一起使用selenium，我希望有人能够了解一下实现这一目标的最佳方法。我将扫描多个纯文本元素，并将它们按顺序排列到一个数组中。纯文本将在html表中，我需要获取表中具有我感兴趣的纯文本的特定部分。
浏览 0提问于2015-05-11得票数 0
回答已采纳
我最近开始使用JSoup来抓取HTML数据，但是我在jsoup.org上找不到关于如何找到嵌套在其他div类中的div类的详细信息。
<div class="Food">
<a href="/eating/101" class="Eating">
<div class="Groceries">
<div class="Vegtables">
<div class="LeafyGreens"
浏览 3提问于2018-03-12得票数 0
2回答
我正在尝试使用JavaScript从following page中抓取数据，特别是当您将鼠标悬停在购物车图标上时出现的“免费送货免费退货”文本： ? 每当我将鼠标悬停在购物车图标上时，新的HTML就会添加到DOM中。 ? 当我把鼠标移开时，之前添加的HTML也就消失了。我希望能够解析数据从HTML中添加，而不是弹出窗口可见。即使有人没有将鼠标悬停在购物车图标上，我如何能够抓取这些文本数据？有没有办法一次访问所有的HTML数据？
浏览 84提问于2020-10-10得票数 0
1回答
我是python数据抓取和尝试从kickstarter抓取数据的新手。我使用以下代码从
我正在使用下面的代码
test_page=requests.get('https://www.kickstarter.com/discover/advanced?term=security&sort=magic&seed=2425842&page=1')
test_pagetree= html.fromstring(test_page.content)
test_loc= test_pagetree.xpath('//[@id="projec
浏览 0提问于2016-02-15得票数 0
我正试着从网站上抓取一些特定的原始文本。通过这个站点和其他资源，我学习了如何使用simpleXML和xpath获取特定的图像。
然而，同样的方法似乎不适用于抓取原始文本。这是目前不起作用的地方。
// first I set the xpath of the div that contains the text I want
$xpath = '//*[@id="storyCommentCountNumber"]';
// then I create a new DOM Document
$html = new DOMDocument();
// then
浏览 4提问于2009-01-01得票数 2
我正在尝试抓取一些站点，以查找是否存在某个代码片段。大多数情况下，刮刀都能完美地按预期工作。 我正在使用以下方法来查找我正在寻找的代码： ...
item["foo"] = response.xpath("//script[contains(text(), 'fooscript')]")
...
if len(item["foo"]) != 0:
doStuff() 然而，我的问题是:有时我想要找到的东西不在脚本本身中，而是作为脚本的源代码(我也知道如何抓取)，有时当使用JQuery时，我无法获得正确的抓取结果。 所以
浏览 12提问于2019-03-18得票数 0
回答已采纳
3回答
我有一个html表单，包含大量的包含数据的文本框。我的页面底部有一个按钮，上面写着打印。现在我不想打印整页。当按下按钮时，我只希望某些文本框的值被打印在纸上。
Javascript是我要找的路线..。
有人能给我打印一个框内容的基本代码吗？
请给我一个例子
************EDIT__****************
看来我的问题措辞很差。我想要做的是从这些html输入文本框中抓取数据，并在按下“打印”按钮后将其加载到一个新页面上，并打印该新页。我想知道如何从框中获取数据，并将其粘贴到弹出页面上。
浏览 6提问于2011-07-06得票数 1
回答已采纳
我想使用简单的HTML从Reddit中抓取注释，这是地址：。
我只想刮掉段落标签中的文本，并将它们存储在数组中，但不幸的是，我无法让它工作。
<div class="usertext-body may-blank-within md-container " >
<div class="md">
<p>What book? I’d like to check it out</p>
</div>
</div>
我怀疑问题是这个部分：“usertext可能-空白-在md-容
浏览 1提问于2021-01-31得票数 0
1回答
我需要能够从“纽约时报”()上摘取许多特定类别文章的内容。例如，假设我们想看所有与“恐怖主义”相关的文章。我会转到这个链接查看所有的文章：
从这里，我可以点击个别的链接，这指示我到一个URL，我可以刮。我使用来帮助我检索文章文本。
下面是我到目前为止掌握的代码，它允许我从一篇特定的文章中抓取所有文本：
from bs4 import BeautifulSoup
session = requests.Session()
url = "https://www.nytimes.com/2019/10/23/world/middleeast/what-is-going-to-happen-t
浏览 1提问于2019-11-05得票数 1
如何在javascript或jquery中使用“dx”来获取span类的数据--提到--值？抱歉..。它应该从html文本字符串抓取，而不是从html页面抓取。
<p>
<span class="dx-mention" spellcheck="false" data-marker="@" data-mention-value="AgnesGan" data-id="AgnesGan">
<span contenteditable="false">
浏览 1提问于2021-11-02得票数 1
回答已采纳
我想要捕获用户在填写表单时在type="text"的输入上按enter的事件。这在网络上到处都是，但我却找不到答案。
这就是我到目前为止所知道的：
在html文件中，我有一个类似如下的文本输入：
<input type="text" size=50 class="newlink">
在Javascript文件中，我试图捕获用户按enter键以有效地提交表单的过程。然后，我从输入中抓取文本并将其存储在数据库中：
Template.newLink.events = {
'submit input.newLink'
浏览 7提问于2012-10-22得票数 20
回答已采纳
我只是从美味的汤开始，试图从维基百科中提取墨尔本的郊区。Here is the link 郊区的名字都是链接的文本，这意味着我必须从a href标签中抓取它们，我不知道怎么做。 下面是我尝试过的： suburb_names = soup_suburb_list.find_all('a', href=True) 但这只会返回页面上的所有href标签，我不知道如何区分href，所以刮板程序只获取郊区的名称。 如果您有任何见解，我将不胜感激:)
浏览 27提问于2020-07-01得票数 1
回答已采纳
1回答
我非常熟悉编程，尤其是堆栈溢出规则。
请告诉我，如果我错过了任何重要的信息，以表明在我的问题。
我正在寻找一个简单的解决方案来使用Python上的selenium模块来并行get请求。
我在tripadvisor.com上有10,000个餐馆的网络链接。我希望我的脚本从每个链接中获取html数据，并找到一个特定html类名下的文本。最后，我的脚本应该抓取每一个文本，并将其放在列表链接旁边的字典中。
按链接顺序发送get请求将花费大量的时间。
我如何并行这些请求，以减少时间？
现在我的代码如下所示：
from selenium import webdriver
# PATH = 'pa
浏览 1提问于2021-12-15得票数 1
回答已采纳
我是Python的新手。我有一个列表，如下所示：
list = [('foo,bar,bash',)]
我从and sql表中抓取了它(有人创建了最垃圾的sql表！)，我不能调整它。从字面上讲，这是我唯一能把它拉进去的格式。我要把它切碎。我不能把它按索引拆分：
print list[0]
因为从字面上看，这给了我：
[('foo,bar,bash',)]
我怎么才能拆分这个呢？我想把它拆分并写到另一个列表中。
谢谢。
浏览 0提问于2016-09-23得票数 0
1回答
从“查看更多”选项卡下隐藏了大量文本的网站中抓取数据。
通过selenium，单击所有这样的按钮，然后使用beautifulsoup进行刮擦。但是，一些按钮的HTML标记中有额外的空格。将它们复制并粘贴到browser.find_element_by_class_name('')总是会产生错误。
class="pv-profile-section__see-more-inline pv-profile-section__text-truncate-toggle
artdeco-button artdeco-button--tertiary artdec
浏览 7提问于2021-12-14得票数 0
回答已采纳
1回答
你好，我刚开始使用R从互联网上抓取数据，不幸的是，我对HTML和XML知之甚少。我试图抓取以下父页面上的每个故事链接：我不关心父页面上的任何其他链接，但需要创建一个表，为网址，故事的标题列，然后为页面的完整文本(可以是几个文本段落)休息。
我尝试使用rvest包，得到了urls，但真正的问题是遍历所有文章，提取文本并将所有内容存储在一个表中。
对于谷歌新闻应用程序：
library(rvest)
url <- 'https://news.google.com/search?q=NREGA&hl=en-IN&gl=IN&ceid=IN%3Aen'
浏览 2提问于2018-06-04得票数 0
我想要创建一个HTML文本字段，例如，我在txt或csv文件中有一个名称列表，我想按一下按钮从list到那个字段调用随机名称。
浏览 0提问于2015-12-20得票数 1
回答已采纳
我试图从一个网页中获取3个<a> some text </a>链接的文本，并使用Swift方法使用javascript来获取类/id/html元素来抓取它。但是，我没有从html中获得正确的类或id。
我尝试使用document.getElementsByClassName/Id并将所有的类/id调用到我需要的类/id，但是我得到了一个错误：
‘document.getElementByClass(’col 12 col-md-9‘)，'document.getElementByClass’是未定义的
我也不知道为什么。有人能为我指出解决这个问题的正确方
浏览 0提问于2018-10-11得票数 0
回答已采纳
我以前用过Scrapy抓取过几个网站，所以我很熟悉它的语法，似乎不能捕获下面的class元素： ? 这是我最近尝试的方法： import scrapy
from scrapy.selector import Selector
import black
class PeopleperhourSpider(scrapy.Spider):
name = 'peopleperhour'
start_urls = ['https://www.peopleperhour.com/hire-freelancers/technology-programming&
浏览 28提问于2021-04-05得票数 0
1回答
我目前正在练习使用“纽约时报”最佳卖家网站进行网络抓取。我想在列表中获得第一本书的标题，并找到HTML元素：
<div class="book-body">
<p class="freshness">12 weeks on the list</p>
<h3 class="title" itemprop="name">CRAZY RICH ASIANS</h3>
<p class="author" itemprop="author&
浏览 0提问于2018-09-07得票数 2
回答已采纳
1回答
我正在创建一个网络抓取应用程序，使用Django，它抓取imdb网站，并根据用户在文本字段中键入的内容列出电影名称假设如果用户键入'b'，它将列出所有以字母'b‘开头的电影名称我有一个html文本输入和一个按钮。
<body>
<h1>The IMDB Scraper</h1>
<form method="POST" action="">
<input type="text" name="name" placeholder
浏览 1提问于2018-01-11得票数 4
嗨，我不知道如何在.draggable div中的每个元素上添加类.edit。
这是我的html：
<div class="edit" >
<h2> Some title </h2>
<a> some link</a>
<p> some paragraph </p>
<ol>
<li> some list item</li>
<li> some lis
浏览 2提问于2013-09-21得票数 2
回答已采纳
2回答
我使用=importxml("URL-TO-SCRAPE";"//html//body//text()")来抓取urls的文本。然而，这样的内容从页眉，导航和页脚也包括在内。我怎么能排除这个？
浏览 7提问于2022-11-09得票数 0
1回答
我目前正在使用抓取页面，并且无法选择<head>元素并从中获取任何数据。特别是，我正在寻找<link>元素。
我还试着获得完整的html，然后在app中解析它。在这种情况下，即使我从Data > Advanced >Attribute下拉菜单中选中html，api也不会返回原始的html，只返回内部的文本。
浏览 3提问于2015-11-26得票数 0
以前，我只是使用Google及其开发工具来复制/粘贴某个网站的HTML代码。
我只是手动使用工具，右键单击最外层的HTML类，然后按下“复制OuterHTML”，然后将其粘贴到记事本文本文件中，然后开始工作。
但现在，我想让这个过程自动化。我想使用Selenium来获取HTML。
我使用了以下方法，但它们并没有获得与使用Google Chrome Developer工具和鼠标手动复制html代码相同的结果(它们缺少一些内部HTML元素和其他东西)：
driver.page_source，
Driver.execute_script(“返回document.documentElement.out
浏览 3提问于2021-12-06得票数 0
我正在使用R来抓取屏幕。我已经抓取了一个页面，并且我已经设法找到了页面上在页面上某个位置找到的所有链接(具有name属性的锚标签内的锚标签)，使用：
links <- xpathSApply(doc, "//a[@name]//a/@href")
现在，我已经从Curl的链接中抓取了文档，并且我想要抓取一定数量的文本。文本似乎总是在<p>标记之间(尽管文本中还有其他<p>标记，并且在下面的文本之前结束
</pre><hr>Back to: <a href="#TOP">
我决定抓取<p>
浏览 0提问于2013-09-27得票数 1
1回答
尝试用以下代码抓取一个表(代码中的网站链接)： zb <- read_html("https://zigbeealliance.org/classic-product-search/")
zb %>%
html_nodes("tr.field_1") %>%
html_text() 我基本上是在尝试从页面中的表中抓取字段并合并到一个主表中。但我无法逐个抓取整个表或字段。类似的代码也适用于其他网站。 非常感谢
浏览 12提问于2021-08-24得票数 0
3回答
我的html
<tr id="uniqueRowId">
<td>
<input class="myChk" type="checkbox" />
</td>
<td class="from">
<textarea class="fromInput" ...></textarea>
</td>
<td class="to">
浏览 3提问于2011-03-01得票数 2
回答已采纳
3回答
我正试图从html中获取数据，以便从网络中获取数据。Html代码如下所示：
<div class="text">
First Text
<br>
<br>
<div style="margin:20px; margin-top:5px; ">
<table cellpadding="5">
<tbody><tr>
<td class="alt2">
<div>
Written by <b
浏览 5提问于2017-06-05得票数 0
我正试着从Indeed.com上找个职位。
这是我的代码：
import scrapy
class JobsNySpider(scrapy.Spider):
name = 'jobs_ny'
allowed_domains = ['www.indeed.com']
start_urls = ['https://www.indeed.com/jobs?q=analyst&l=New%20York,%20NY&vjk=b588911bd50d7ab1']
def parse(self, respon
浏览 1提问于2022-02-10得票数 0
回答已采纳
我试图抓取一个网站，在那里我使用div和class来获取其中的内容。
我能够获得正确的数据，但当我将其放入循环中时会出错。
html = BeautifulSoup(response, 'html.parser')
post_list = html.find_all('div', class_='eodLhs')
print(post_list)
i = 0
for values in post_list:
url_json = {'title': values.ul.li[i].a.text, 'url
浏览 7提问于2019-10-26得票数 0
回答已采纳
3回答
拉错HTML属性
、、、、
我对python很陌生，在抓取一些HTML代码时遇到了困难。
我试图从下面的HTML代码中提取文本“优惠券”、“到期日”和“首次发行价格”以及float-right类中的文本。我只包含了HTML代码的一部分，但是有九个不同的部分是我试图从其中刮出的。
<span class="label genericQtipHelp" help="Annual interest rate payable on a security expressed as a percentage of the principal" data-hasqtip="160"
浏览 9提问于2021-08-28得票数 1
回答已采纳
2回答
我试图从代码中的URL中抓取文本框值。我使用slector小工具选择css。它无法捕获文本框中的内容。测试了其他几个CSS，但是没有捕获textbox值。文本框为:施工年份请帮助。下面是参考代码。
url = "https://www.ncspo.com/FIS/dbBldgAsset_public.aspx?BldgAssetID=8848"
values = list()
remDr$navigate(url)
page_source<-remDr$getPageSource()
a = read_html(page_source[[1]])
= htm
浏览 0提问于2016-02-23得票数 0
回答已采纳
不知道我忽略了什么，但我有一个相对简单的问题。
我正在抓取一个页面，其中包含一些我称之为“简化版”的文章标记：
soup = BeautifulSoup(page, 'lxml')
articles = soup.find_all("article", "product-tile promotion")
for a in articles:
print(a)
# This nicely prints all of my article tags and it's inner html, so up to here all is
浏览 0提问于2019-03-31得票数 1
回答已采纳
1回答
在rvest中使用read_html时如何抓取多个urls？目标是从相应的urls中获得一个由文本主体组成的单个文档，以在其上运行各种分析。
我尝试连接urls：
url <- c("https://www.vox.com/","https://www.cnn.com/")
page <-read_html(url)
page
story <- page %>%
html_nodes("p") %>%
html_text
在read_html出现错误后：
Er
浏览 8提问于2020-02-25得票数 1
回答已采纳
我试着从div中抓取打印文本，得到如下所示的错误！请帮帮忙 from selenium import webdriver
import pandas as pd
driver = webdriver.Chrome(executable_path= '/Users/leah/Documents/Scrap-Finantials/webdrivers/chromedriver')
driver.get('https://www.dummy-id.com/StockInfo/_ScreenerScan.html?SYMBOLS_PP=25&SYMBOLS_ONL
浏览 12提问于2021-10-25得票数 0
回答已采纳
3回答
我正在尝试从WSJ网站上的文章中抓取文本内容。例如，考虑以下html源代码： <div class="article-content ">
<p>BEIRUT—
Carlos Ghosn,
who is seeking to clear his name in Lebanon, would face a very different path to vindication here, where endemic corruption and the former auto executive’s widespr
浏览 48提问于2020-01-05得票数 1
1回答
<html>
<head><title>Example page</title></head>
<body>
<textarea name="description">This is some text</textarea>
<input type='text' name='bla' value='a textinput' />
<textarea name="interests">What i
浏览 0提问于2011-12-16得票数 1
回答已采纳
3回答
我正在尝试从网页中抓取一些文本，并使用以下代码将它们保存在文本文件中(我正在打开一个名为links.txt的文本文件中的链接)： import requests
import csv
import random
import string
import re
from bs4 import BeautifulSoup
#Create random string of specific length
def randStr(chars = string.ascii_uppercase + string.digits, N=10):
return ''.join(ra
浏览 44提问于2021-08-26得票数 1
回答已采纳
2回答
仅剪贴式正文文本
、、、
我尝试使用python Scrapy从正文中抓取文本，但还没有成功。
希望一些学者能够在这里帮助我从<body>标记中抓取所有的文本。
浏览 1提问于2011-03-22得票数 9
回答已采纳
1回答
我正在尝试输入文本，按下按钮将添加到ul列表中，但我一直在控制台中出现这个错误，我不知道为什么
Uncaught : btn.addEventListener不是script.js:5的一个函数
代码：
var text = document.getElementsByClassName('text');
var list = document.querySelector('.list');
var btn = document.getElementsByClassName('add');
btn.addEventListener("
浏览 2提问于2021-10-19得票数 0
因此，我目前正在抓取几个网页中的文本，然后将这些文本放在列表中，然后我可以通过Pandas在数据框中组织这些列表。我目前使用的是requests和bs4模块。我需要抓取的文本之一是这样的：
<li><span class="label-description">STATUS</span><span class="text-description"></span>Ongoing</li>
我需要提取‘正在进行’，但它没有CSS选择器，我可以用它来使用soup.select(selector)。
浏览 1提问于2021-03-28得票数 0
我试图从以下链接：中删除数据，但是在执行以下代码时：
import urllib
from bs4 import BeautifulSoup
import xml.etree.ElementTree as ET
url= "https://www.kickstarter.com/projects/298226251/subform-a-modern-tool-for-digital-product-designer"
html=urllib.urlopen(url).read()
soup=BeautifulSoup(html,"html.parser")
浏览 4提问于2016-10-31得票数 0
回答已采纳
1回答
我正在尝试使用Selenium/Python从链接列表中挖掘相当多的文本。
在本例中，我只抓取了其中一个页面，并成功抓取了全文：
page = 'https://xxxxxx.net/xxxxx/September%202020/2020-09-24'
driver = webdriver.Firefox()
driver.get(page)
elements = driver.find_element_by_class_name('text').text
elements
然后，当我尝试遍历整个链接列表(此页面上的所有按天链接：) (使用与从单
浏览 1提问于2020-10-20得票数 1
1回答
目的:从div类list_area daily_all中抓取文本数据。 使用scrapy shell，我首先“抓取”了我想要抓取数据的网站：https://comic.naver.com/webtoon/weekday.nhn 使用'scrapy shell‘脚本：scrapy shell 'https://comic.naver.com/webtoon/weekday.nhn' 使用xpath，我想从div类"list_area daily_all“中抓取所有文本数据： response.xpath("//div[@id='wrap'
浏览 18提问于2019-06-10得票数 2
2回答
我使用Ruby和Nokogiri来获取特定标签中的内容，这些标签是它们的CSS选择器的目标。
但是，我遇到了一个问题，目标标记在CSS ID名称的末尾附加了一个惟一的产品ID。
示例：
a#exampleIdNameB000AQ40M8B00JYWUHO4
在我的脚本中，我试图抓取多个产品的这些信息，所以这个ID每次都会改变，并打破抓取。
具体地说，我是这样获取标签中的内容的：
remove_html_tags(doc.css(html).to_s.strip)
它要搜索的超文本标记语言将是a#exampleIdName。
有没有办法告诉Nokogiri将文档中发现的a#exampleIdNa
浏览 0提问于2014-12-07得票数 0
好的，我想得到的数据看起来是这样的；
<li class="expandable"> Criminal
<ul class="subPracticeAreas" style="display:none">
<li> Appellate< /li>
<li>Crimes against the person</li>
<li> Drugs< /li>
<li>Envi
浏览 4提问于2017-04-18得票数 1
回答已采纳
不知道是否有人能帮上忙。我在文档中搜索过requests-html，但没有找到https://requests.readthedocs.io/projects/requests-html/en/latest/ 以前我使用的是请求和漂亮的汤，但我正在抓取的网站现在已经实现了javascript。我已经设法使用Requests-HTML提取了文本，但不确定如何提取图像SRC from requests_html import HTMLSession
session = HTMLSession()
R = session.get(SHOPURL,headers=headers)
images =
浏览 18提问于2020-06-22得票数 0
回答已采纳
我正在尝试通过Ajax调用从获取一些数据。我可以在我的控制台中获取整个文档，但我不知道如何获取单个元素。我想要标题和下面的内容。
<script>
$(function() {
$.ajax({
url: 'http://feeds.reuters.com/reuters/technologyNews',
type: 'GET',
dataType: 'html',
success: function(data) {
浏览 40提问于2018-07-10得票数 0
回答已采纳
我使用Puppeteer抓取的网页上有一个<ul>的句柄，如下所示：
const [detailElm] = await page.$x(
"/html/body/div[2]/table/tbody/tr/td/div/ul"
);
在这个<ul>中有7个<li>，我需要从中提取文本。我已经尝试过了：
const [detailElm] = await page.$x(
"/html/body/div[2]/table/tbody/tr/td/div/ul"
);
const list
浏览 30提问于2020-02-09得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
