使用bs4从字符串中删除html标记
使用bs4从字符串中删除HTML标记可以通过以下步骤实现：
- 导入必要的库：
from bs4 import BeautifulSoup- 定义一个函数，接收一个包含HTML标记的字符串作为参数，并返回删除标记后的纯文本字符串：
def remove_html_tags(html_string):
soup = BeautifulSoup(html_string, 'html.parser')
text = soup.get_text()
return text- 调用该函数并传入包含HTML标记的字符串，即可得到删除标记后的纯文本字符串：
html_string = "<p>This is a <b>sample</b> HTML string.</p>"
text = remove_html_tags(html_string)
print(text)输出结果：
This is a sample HTML string.这个函数使用BeautifulSoup库的get_text()方法来获取HTML字符串中的纯文本内容，从而删除了所有的HTML标记。这在处理爬取的网页内容、提取文本信息等场景中非常有用。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云官网：https://cloud.tencent.com/
- 云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 云数据库 MySQL 版：https://cloud.tencent.com/product/cdb_mysql
- 人工智能平台（AI Lab）：https://cloud.tencent.com/product/ailab
- 云存储（COS）：https://cloud.tencent.com/product/cos
- 区块链服务（TBC）：https://cloud.tencent.com/product/tbc
- 腾讯云元宇宙：https://cloud.tencent.com/solution/virtual-universe
相关·内容
我试图用bs4从url中提取整数。我导入re是为了得到数字，但我得到了上面的错误。我很困惑，希望能帮上忙。
from urllib.request import urlopen
from bs4 import BeautifulSoup
import ssl
import re
# Ignore SSL certificate errors
ctx = ssl.create_default_context()
ctx.check_hostname = False
ctx.verify_mode = ssl.CERT_NONE
url = input('Enter - ')
浏览 0提问于2019-11-12得票数 0
回答已采纳
1回答
我想做的是：
从带有bs4的html邮件中删除可疑评论。现在，我遇到了所谓的conditional comments (类型为downlevel-revealed )的问题。
请参阅：
import bs4
html = 'A<!--[if expression]>a<![endif]-->' \
'B<![if expression]>b<![endif]>'
soup = bs4.BeautifulSoup(html, 'html5lib')
for comment in
浏览 4提问于2018-10-23得票数 0
回答已采纳
1回答
访问HTML注释中的标记
、、、
我已经通过BS4熟悉了使用Python进行web抓取的过程。我还没有找到嵌入在注释中的DOM标记的解决方案。例如，当试图从.html页面()获取数据时，检查页面上的表显示：
<div class='table_outer_container"> ... </div>
我通常可以用BeautifulSoup抓取。但是，当我查看实际的页面源时，上述表被包含在注释标记中：
<!--
<div class='table_outer_container"> ... </div>
-->
我一直无法找到通过BS
浏览 0提问于2018-12-11得票数 0
回答已采纳
2回答
在解析HTML页面中的图像(来自)时，当我将页面加载到BeautifulSoup (bs4)中时，Python崩溃。“问题详细信息”显示etree.pyd是“错误模块名称”，这意味着它可能是一个解析错误，但到目前为止，我还不能确定它的原因。
以下是我能归结为的最简单的代码，在Python2.7上：
import requests, bs4
url = r"http://z-img.com/search.php?&ssg=off&size=large&q=test"
r = requests.get(url)
html = r.content
#or
浏览 4提问于2013-04-28得票数 0
回答已采纳
1回答
我在Python中使用bs4通过在普通标记中查找特定文本来刮取web内容。具体地说：
html
...
<h3>Content</h3>
<ul>...</ul>
...
那么，我是否可以指示bs4查找带有特定文本“内容”的标题，以便识别锚点并获取内容？
我试过了，但没有用：
soup2.find('h3', {'text': 'Content'}).findNext('ul').text)
非常感谢。
浏览 2提问于2017-01-12得票数 0
回答已采纳
2回答
我有一个Html文档，如下所示：
<div id="whatever">
<a href="unwanted link"></a>
<a href="unwanted link"></a>
...
<code>blah blah</code>
...
<a href="interesting link"></a>
<a href="interesting link">&
浏览 5提问于2015-12-27得票数 6
回答已采纳
2回答
我是一个新手，在使用BeautifulSoup从页面抓取html后，移除跨度标签有困难。尝试使用"del links‘’span‘，但返回相同的结果。使用getText()的一些尝试也失败了。很明显我做错了应该很容易的事情。帮助？
from bs4 import BeautifulSoup
import urllib.request
import re
url = urllib.request.urlopen("http://www.python.org")
content = url.read()
soup = BeautifulSoup(content)
for l
浏览 2提问于2013-06-12得票数 1
在使用BeautifulSoup bs4时，如何从HTML标签中获取文本？当我运行这行代码时：
oname = soup.find("title")
我得到的title标签如下：
<title>page name</title>
现在我只想得到它的内部文本，page name，不带标签。如何做到这一点？
浏览 0提问于2015-01-14得票数 7
回答已采纳
3回答
我正在用bs4用Python写刮板，并希望从所有'a‘标签中删除链接
我有html代码
html_code = '<a href="link">some text</a>'
我要删除href=“链接”，并且只获取
html_code = '<a>some text</a>'
我该怎么做呢？
浏览 14提问于2022-11-20得票数 0
回答已采纳
2回答
我想从td标签中提取包含br标签的文本。
from bs4 import BeautifulSoup
html = "<td class=\"text\">This is <br/>a breakline<br/><br/></td>"
soup = BeautifulSoup(html, 'html.parser')
print(soup.td.string)
实际产出：None
预期产出：This is a breakline
浏览 0提问于2018-03-14得票数 1
回答已采纳
使用.contents
`url="https://www.imdb.com/chart/top/"
import requests
from bs4 import BeautifulSoup
re=requests.get(url)
doc=BeautifulSoup(re.content,"html.parser")
table=doc.find('tbody',class_="lister-list")
print(table.contents[0])`
浏览 1提问于2022-08-02得票数 2
我正在用“美丽汤”编写一个脚本，从他们各自的维基百科页面中，从1999-2003年的每一次温布尔登网球锦标赛的开始和结束日期开始和结束。
我希望将日期范围作为可选择对象的列表，并且我已经编写了一个脚本，实现了以下目标：
from bs4 import BeautifulSoup
import requests
import re
import os
year = 1999
url = "https://en.wikipedia.org/wiki/{tourneyYear}_Wimbledon_Championships"
range = [1, 2, 3, 4, 5,]
浏览 1提问于2018-01-22得票数 0
回答已采纳
示例：
import bs4
html = '''
<div class="short-description std ">
<em>Android Apps Security</em> provides guiding principles for how to
best design and develop Android apps with security in mind. The book explores
techniques that developers can use to build addi
浏览 0提问于2012-11-21得票数 2
回答已采纳
1回答
我使用BeautifulSoup从html文档中提取文本，然后将文本传递给NLTK进行一些分析。HTML文件中有分页符。分页会导致连续段落被分割。
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, "html5lib")
txt = (soup.get_text())
print(txt)
分割的段落如下：
该文件载有几段内容。每个段落由几个段落组成
-6-
由单词组成的句子。这些词是由字母组成的。
关于如何删除分页符和整个段落的想法？
浏览 2提问于2016-11-06得票数 1
回答已采纳
您知道如何在pythons BeautifulSoup中搜索特定的文本吗?查找标记？？更好的标记完整路径，包含一些string。
例如，BS4的常用用法是：
import requests
from bs4 import BeautifulSoup
url = "https://elementy.ru/novosti_nauki"
website = requests.get(url)
results = BeautifulSoup(website.content, 'html.parser')
然后，您可以使用一些属性(如头、类等)查询所有标记。
但是我
浏览 4提问于2022-09-04得票数 0
回答已采纳
1回答
我正在尝试使用漂亮汤从html文件中提取字典条目的“意义”部分，但这给我带来了一些麻烦。以下是我迄今所做尝试的总结：
我右键单击下面的字典条目页，并将该网页保存到我的'aufmachen.html'目录中，作为
在这个网页的源代码中，我试图提取的部分从第1042行开始，我在下面编写了表达式，但是标签和Bedeutungen都不包含任何搜索结果。
import requests
import pandas as pd
import urllib.request
from bs4 import BeautifulSoup
with open("aufmachen.htm
浏览 2提问于2022-06-24得票数 0
回答已采纳
我从上周开始学习蟒蛇，我需要在一个网站上搜索关于城市的信息。我设法抓取整个网站，但我不能完全刮的具体文本信息，我需要在每个城市的网页(这是一个城市信息()的网址)
这是我工作的地方
<div class="constructeur">
<b>Village: </b>Abbécourt <br/>
<b>Population :</b> 536 habitants <br/>
<b>Département :</b> Aisne <br/>
<b>
浏览 4提问于2019-10-22得票数 1
1回答
假设我需要从这个网站收取信息：
但由于我在使用代理时遇到了问题，我所做的就是从web上复制源代码，并将其粘贴到名为test222.html的记事本文件中。
我想把它和漂亮的汤一起读，以便操纵它，但我真的不知道该怎么做。test222.html文档在我的桌面上。我现在所有的代码是这样的.
from bs4 import BeautifulSoup
web_parsed = 'C:/Users/Desktop/test222.html'
soup = BeautifulSoup(web_parsed, 'html.parser')
print soup
提前感
浏览 12提问于2017-03-07得票数 1
回答已采纳
2回答
用BS4抓取未闭元标记
、、、
我正在尝试获取元标签的内容。问题是，BS4无法正确解析某些站点上的标记，在这些站点中，标记没有按应有的方式关闭。以下面的标记为例，我函数的输出包含大量杂乱的内容，包括脚本、链接等其他标记。我相信浏览器会自动关闭头部末端的元标记，这种行为会混淆BS4。
我的代码适用于以下内容：
<meta name="description" content="content" />
不适用于：
<meta name="description" content="content">
下面是我的BS4函数的代码：
from b
浏览 2提问于2016-11-09得票数 2
回答已采纳
我正在使用Python 2，我有以下脚本：
from bs4 import BeautifulSoup
import requests, re
page = "http://hidden.com/example"
headers = {'User-Agent': 'Craig'}
html = requests.post(page, headers=headers)
soup = BeautifulSoup(html.text, "html.parser")
final = soup.find('p',{&#
浏览 2提问于2017-01-16得票数 0
我想使用Beautiful来解析html文件。
首先我做了：
from bs4 import BeautifulSoup
但我犯了错误：
from bs4 import BeautifulSoup
ImportError: No module named bs4
所以我做了：
import BeautifulSoup
一切都很顺利。我的问题是:从BeautifulSoup导入和直接导入的bs4之间有什么区别？bs4是python > 2.7的内置库吗？
然后我做了：
data = url.openUrl("http://emma-watson.net")
self.sou
浏览 3提问于2014-07-24得票数 1
回答已采纳
我试图从本文()中提取文章文本，并将底部的合法容器排除在外。文本部分似乎很简单，但似乎无法摆脱容器。为了便于使用，我将其与法律变量分开。
到目前为止，我的代码如下：
import requests
from bs4 import BeautifulSoup
base_url = 'https://www.vanityfair.com/style/society/2014/06/monica-lewinsky-humiliation-culture'
r = requests.get(base_url)
r_html = r.text
soup = BeautifulSoup(
浏览 9提问于2017-10-12得票数 3
因此，我一直在学习如何使用python删除web，所以每当我试图从HTML文件中抓取数据时，我都会得到结果，但结果都是在一行中完成的，而且令人困惑。例如
from bs4 import BeautifulSoup
file=open('op.html','rb')
data=file.read()
soup=BeautifulSoup(data,'html.parser')
print(soup.select('style'))
所以这是我想要搜集的数据
产出：
<style data-href="/styles.
浏览 3提问于2022-10-04得票数 -1
我试图使用BeautifulSoup和Python一起解析一个HTML。
但它停止了对特殊字符的解析，如下所示：
from bs4 import BeautifulSoup
doc = '''
<html>
<body>
<div>And I said «What the %&#@???»</div>
<div>some other text</div>
</body>
</html>'''
so
浏览 3提问于2018-01-06得票数 3
回答已采纳
以下是我到目前为止所拥有的：
from bs4 import BeautifulSoup
def cleanme(html):
soup = BeautifulSoup(html) # create a new bs4 object from the html data loaded
for script in soup(["script"]):
script.extract()
text = soup.get_text()
return text
testhtml = "<!DOCTYPE HTML>\n
浏览 5提问于2015-06-01得票数 17
回答已采纳
3回答
我想使用bs4搜索带有特定字符串的第一个标记，并将标题标记排除在搜索中。根据bs4文档，它支持正则表达式。
为什么以下代码不能工作：
#!/usr/bin/env python
from bs4 import BeautifulSoup
import re
html_doc = """
<html>
<head>
<title>The Dormouse's story</title>
</head>
<body>
<p class="title">
浏览 0提问于2017-12-01得票数 0
我正试着从一个网页上搜集一些数据。标签文本中有换行符和<br/>标记。我只想知道标签开头的电话号码。你能给我个建议吗?怎么才能得到号码？
以下是HTML代码：
<td>
+421 48/471 78 14
<br />
<em>(bowling)</em>
</td>
在漂亮汤中是否有一种方法可以在标签中得到文本，但只有那些不被其他标签包围的文本？第二件事:去掉文本换行符和html换行符？
我用BS4。
产出为：+421 48/471 78 14‘
你有什么想法吗？谢谢
浏览 8提问于2014-08-24得票数 6
回答已采纳
1回答
我试图通过搜索锚文本从页面中提取BeautifulSoup。我在BeautifulSoup中尝试过几种不同的方法，包括不同的html解析器，但这些方法都没有成功。
代码：
import requests
import re
from bs4 import BeautifulSoup
url = "http://forum.xda-developers.com/showthread.php?t=1916098"
response = requests.get(url)
soup = BeautifulSoup(response.content, "lxml"
浏览 3提问于2016-09-26得票数 1
回答已采纳
3回答
我尝试用来解析一些html元素中的文本，就像这里描述的那样，但不幸的是失败了。我尝试过两种不同的方法，但每次遇到相同的AttributeError。
如何在这种情况下使用字符串参数来获取文本？
我试过：
import re
from bs4 import BeautifulSoup
htmlelement = """
<caption>
<span class="toggle open"></span>
ASIC registration
</caption>
"""
浏览 0提问于2019-01-22得票数 1
回答已采纳
我想分析一下新闻网站上的一些文章。但是bs4看不到一些标签
我的代码：
from bs4 import BeautifulSoup
import urllib.request
url="http://www.noi.md/md/news_id/86602"
page = urllib.request.urlopen(url)
soup = BeautifulSoup(page.read(), "html5lib")
heads=soup.find_all( 'h3')
for head in heads:
print (head.
浏览 4提问于2016-06-24得票数 0
2回答
lxml返回两个项，而漂亮汤只返回一个项。这是因为<br/>不应该存在，而漂亮汤更能容忍糟糕的html吗？
是否有更好的方法使用lxml提取位置？<br/>并不总是在那里。
from lxml import html
from bs4 import BeautifulSoup as bs
s = '''<td class="location">
<p>
TRACY,<br/> CA 95304
</p>
浏览 4提问于2016-11-06得票数 0
回答已采纳
3回答
我想从所有找到的图像中删除'a‘标签(链接)。因此，为了性能起见，我列出了html中的所有图像，并查找包装标记，然后简单地删除链接。
我使用的是BeautifulSoup，不确定我做错了什么，而不是删除a标记，而是删除内部内容。
，这就是我做的，
from bs4 import BeautifulSoup
html = '''<div> <a href="http://somelink"><img src="http://imgsrc.jpg" /></a> <a href=
浏览 1提问于2013-08-10得票数 1
回答已采纳
2回答
我有一个简单的HTML文件，我想转换。根据我需要修改内容的标签的类别：
<HTML>
<HEAD>
<TITLE>Eine einfache HTML-Datei</TITLE>
<meta name="description" content="A simple HTML page for BS4">
<meta name="author" content="Uwe Ziegenhagen">
<meta charset="UTF-8"
浏览 0提问于2013-07-14得票数 1
回答已采纳
3回答
BeautifulSoup4表
、、、、
我已经找到了几篇关于如何做到这一点的文章，但我对bs4中的任何一篇文章都不太满意。有人能帮我弄清楚如何用filename.doc从这个桌子上拿出bs4吗？我尝试了无数次，但我运气不佳，在文档中找不到答案。在我正在抓取的html中，还有一些具有<table class="layout"> 的表
我试图解析的表：
<table class="layout">
<tbody>
<tr>.(truncating td's).</tr>
<tr>.(truncating t
浏览 5提问于2016-03-29得票数 0
回答已采纳
我建议使用BeautifulSoup从HTML中删除带有特定id的标记。例如，删除下面的<div id=needDelete>...</div>是我的代码，但似乎没有正常工作：
import os, re
from bs4 import BeautifulSoup
cwd = os.getcwd()
print ('Now you are at this directory: \n' + cwd)
# find files that have an extension with HTML
Files = os.listdir(cwd)
print F
浏览 2提问于2017-02-22得票数 0
回答已采纳
我需要抓取嵌套在HTML页面中的这部分文本。
link: http://warframe.wikia.com/wiki/Frost
text needed: Frost's component blueprints are acquired from Lieutenant Lech Kril & Captain Vor (Exta, Ceres).
我以前用过bs4，但我不知道如何提取这个特定的文本。
浏览 19提问于2018-08-05得票数 0
回答已采纳
我现在正在使用漂亮的汤来解析网页，我听说它很有名，也很好，但它似乎不能正常工作。
下面是我所做的
import urllib2
from bs4 import BeautifulSoup
page = urllib2.urlopen("http://www.cnn.com/2012/10/14/us/skydiver-record-attempt/index.html?hpt=hp_t1")
soup = BeautifulSoup(page)
print soup.prettify()
我认为这是一种简单的方式。我打开网页，把它传给漂亮的汤。但这是我得到的：
Warning
浏览 0提问于2012-10-15得票数 5
回答已采纳
1回答
我正在做一个解析HTML页面的项目。这是一个公司的内部网站，但我改变了例子，以便你可以尝试。
我获得HTML页面的源代码，并搜索特定的标记。然后，我想提取这个标记的子字符串，但它不起作用。Python返回一个0..。下面是我的代码，注释中包含了Python的返回：
#!/usr/bin/python
import urllib2
from bs4 import BeautifulSoup
response = urllib2.urlopen("http://www.resto.be/restaurant/liege/4000-liege/8219-le-bar-a-gouts/
浏览 4提问于2014-07-28得票数 0
回答已采纳
1回答
from bs4 import BeautifulSoup
import time
#import requests
import urllib.request,re
#import pandas as pd
#import numpy as np
import csv
def crawlcontents():
url = 'https://www.tripadvisor.com/ShowTopic-g983296-i13236-k11538516-Rent_from_LOTTE_standard_or_mystery_option-Jeju_Island.html'
浏览 1提问于2018-05-25得票数 0
请看下面的代码片段
import requests
from bs4 import BeautifulSoup
url = #Insert url here
# Method 1
html = requests.get(url, "html.parser")
soup = BeautifulSoup( html.text )
#Method 2
html2 = requests.get(url)
soup2 = BeautifulSoup( html.text, "html.parser")
哪种方法是正确的？方法1还是方法2？我们应该将"html.
浏览 2提问于2020-08-11得票数 1
回答已采纳
我正在抓取一个HTML网页。我在Mac机上使用Python库(4.6.0)和BeautifulSoup (3.7)。
在其他东西中，我看到了一堆'div‘标签，它们有class属性。一些'div‘标签带有多个class属性值。现在我想根据标记名和class属性值进行过滤，例如，我想找到class='a‘但没有class='b’的' div‘标记(是的，有些div标记带有class='a b')。
为了获得这些标记，我尝试使用BS4文档()中提到的过滤函数。我的印象是，find_all()将bs4标记元素传递给函数，在该函数中，您可以对BS
浏览 103提问于2018-07-09得票数 -1
我正在尝试以.txt格式从一些文档中删除HTML标记。然而，据我所知，bs4似乎有一个错误。我得到的错误如下：
Traceback (most recent call last):
File "E:/Google Drive1/Thesis stuff/Python/database/get_missing_10ks.py", line 13, in <module>
text = BeautifulSoup(file_read, "html.parser")
File "C:\Users\Adrian PC\AppData
浏览 0提问于2018-11-03得票数 18
是否可以使用$(someSelector).html('some string');而不替换此选择器的内容，而是在内容的开头添加'some string'？
另外，在我添加之后，是否可以从"someSelector“html中删除'some string'？
浏览 1提问于2011-12-08得票数 0
回答已采纳
2回答
如何用美汤找到所有评论
、、、、
四年前有人问过，但现在BS4的答案已经过时了。
我想要删除我的html文件中的所有评论使用美丽的汤。因为每个都是由BS4创建的，所以我认为下面的代码会起作用：
for comments in soup.find_all('comment'):
comments.decompose()
所以那不管用...如何使用BS4查找所有评论？
浏览 3提问于2015-10-15得票数 13
回答已采纳
我只想从网上的源代码中取回标题。我的代码目前能够拉出所有正确的行，但我不知道如何使它只拉回标题。
from bs4 import BeautifulSoup # BeautifulSoup is in bs4 package
import requests
URL = 'https://sc2replaystats.com/replay/playerStats/10774659/8465'
content = requests.get(URL)
soup = BeautifulSoup(content.text, 'html.parser')
tb =
浏览 0提问于2019-08-13得票数 0
回答已采纳
我知道可以使用findAll函数在带有BeautifulSoup的html页面中查找字符串。如果目标是BeautifulSoup站点，例如：
page = urllib2.urlopen('https://www.crummy.com/software/BeautifulSoup/bs4/doc/')
soup = BeautifulSoup(page, "html.parser")
print soup.findAll(text="python")
结果将是：
[u'python']
但是，我如何检查是否没有任何事件发生呢？
浏览 6提问于2017-07-25得票数 4
回答已采纳
2回答
我有以下HTML数据。我需要使用BeautifulSoup4来获取它的"2“：
<td rowspan="2" style="text-align: center; vertical-align: middle;">
<small>3</small>
</td>
我试过：
k.find('rowspan')['style']
产生了例外情况：
追溯(最近一次调用)：TypeError: list索引中的文件""，第1行，必须是整数，而不是str
浏览 17提问于2015-07-10得票数 0
1回答
我试图在一个特定的td中获得第二个标签，但是我不能只获得第二个标签的文本，因为我从所有的a中获取数据。稍后我将做一个for来获取10 td的数据。正如您在图像中看到的，我想要第二个a的数据，每个数据位于10 td中的每一个：
我的代码：
from requests import get
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0'}
url = 'https://www.oddsportal.com/soccer/spain/laliga'
浏览 0提问于2019-05-17得票数 0
回答已采纳
1回答
我读了一大堆文章，找不到任何真正相关的东西。我保证:)这是在Python2.7.3下的BS4和lxml解析器中实现的。 我有这样的经历： self.chaptername = self.soup.find_all('center h3 b') 在我的html中我有 <center><h3><b>Chapter 34</b></h3></center> 我期望得到“第34章”的结果，但得到的结果集为空。 如果我查找'b‘，我会得到所有粗体文本的结果集(带有属性)。 如果我查找'h3 b‘，我
浏览 15提问于2021-08-01得票数 1
3回答
我想使用beautifulsoup解析html页面。我希望在不删除html标签的情况下提取标签中的文本。例如，示例输入：
<a class="fl" href="https://stackoverflow.com/questio...">
Angular2 <b>Router link not working</b>
</a>
样本输出：
'Angular2 <b>Router link not working</b>'
我试过这样做：
from bs4 import
浏览 10提问于2019-10-11得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
