使用grep/sed从具有特殊class/id的html标记中提取数据
grep和sed是Linux/Unix系统中常用的命令行工具，用于文本搜索和处理。在给定的问答内容中，我们可以使用grep和sed来从具有特殊class/id的HTML标记中提取数据。
- grep命令：
- 概念：grep是一种强大的文本搜索工具，可以在文件中查找匹配指定模式的行，并将其输出。
- 分类：grep属于文本处理工具。
- 优势：grep支持正则表达式，可以进行高级的模式匹配和搜索。
- 应用场景：grep常用于查找特定内容、过滤日志文件、搜索代码等。
- 推荐的腾讯云相关产品：腾讯云服务器（CVM）。
- 产品介绍链接地址：https://cloud.tencent.com/product/cvm
- sed命令：
- 概念：sed是一种流式文本编辑器，用于对文本进行替换、删除、插入、追加等操作。
- 分类：sed属于文本处理工具。
- 优势：sed支持正则表达式，可以对文本进行灵活的编辑和转换。
- 应用场景：sed常用于批量替换文本、格式化输出、数据提取等。
- 推荐的腾讯云相关产品：腾讯云函数（SCF）。
- 产品介绍链接地址：https://cloud.tencent.com/product/scf
使用grep和sed从具有特殊class/id的HTML标记中提取数据的步骤如下：
- 使用grep命令查找包含特殊class/id的HTML标记的行：
- 使用grep命令查找包含特殊class/id的HTML标记的行：
- 其中，'特殊class/id'是要查找的特殊class或id的名称，文件名是要搜索的HTML文件名。
- 使用sed命令提取数据：
- 使用sed命令提取数据：
- 其中，文件名是要处理的HTML文件名。
- 这个sed命令使用正则表达式将匹配到的HTML标记中的数据提取出来，并输出。
注意：上述命令中的特殊class/id、文件名需要根据实际情况进行替换。
以上是使用grep和sed从具有特殊class/id的HTML标记中提取数据的方法。grep用于查找包含特定class/id的行，sed用于提取数据。腾讯云的相关产品推荐是基于其在云计算领域的优势和应用场景进行的推荐。
相关·内容
我有这个HTML页面(template.html) &我想提取输入form_nonce的值
<div class="row">
<div class="col s12 input-field">
<input type="hidden" name="form_nonce" id="reset_form_nonce"
浏览 0提问于2018-04-24得票数 0
回答已采纳
2回答
我已经试着让它工作了两个小时了，但是我没有成功。在jenkins shell命令中，我编写了以下代码：
full_HTML=$( curl http://website.com/ )
echo "$full_HTML" | sed -ne 's/<table class="pane" id="buildQueue">\(.*\)<\/table>.*/\1/'
因此，我首先将网页的源代码存储在一个变量中。从该变量中，我想提取以下标记：
<table class="pane" id=&#
浏览 1提问于2015-02-04得票数 2
我有一个包含大量.html文件的文件夹，所有这些文件都有<p>..</p> html标记和<img...> html标记。
我试图将当前文件夹中的所有文件中的<img...> html标记中找到的URL仅提取到一个output.txt文件中。
html文件代码如下所示：
file1.html
<p> text...</p>
<img style='display' src="https://www.example.com/image1.jpg" width="100px"
浏览 0提问于2022-03-01得票数 1
回答已采纳
为了能够在不创建uber-jar的情况下为我的应用程序创建火花提交命令，我希望在构建过程中创建应用程序顶层依赖项的maven坐标的逗号分隔列表，然后我可以在spark-submit中使用--packages= (或spark.jars.packages=)。
可以使用“`mvn依赖关系:树”检索此列表，该列表输出具有此格式的列表：
[INFO] com.myorg:my-project:jar:1.0-SNAPSHOT
[INFO] +- org.scala-lang:scala-library:jar:2.11.12:compile
[INFO] +- org.scala-lang:scal
浏览 2提问于2020-02-26得票数 1
回答已采纳
在页面上，有一个指向的链接，我想通过脚本下载该链接。不幸的是，没有“轻松”链接可以用来下载最新版本，所以我想从HTML本身提取链接。
该链接由id linux-tools标识，包含在多行中：
<a onclick="return onDownload(this)" id="linux-tools" data-modal-toggle="studio_tos"
href="https://dl.google.com/android/repository/sdk-tools-linux-3859397.zip">
浏览 5提问于2017-08-06得票数 3
回答已采纳
我应该使用什么命令从下面的html代码中提取文本，该代码位于包含"<span id="imAnID">extractme</span>“的"test.html”文件中？
文件会更大，因此我需要将grep或sed指向一个ID，然后告诉它只从具有此id的标记中提取文本。假设我从文件所在的目录运行终端，我将这样做：
cat test.html | sed -n 's/.*<span id="imAnID">\(.*\)<\/span>.*/\1/p'
我做错了什么？我得到一个空的输出...
浏览 0提问于2012-10-31得票数 0
我希望从以下文件中提取fqdns的内容，但只针对每个device ( status为new)：
<device id='10.72.48.215'>
<address>10.72.48.215</address>
<status>old</status>
<fqdns>10.72.48.215</fqdns>
<parent></parent>
<type>Unknown</type>
<por
浏览 0提问于2015-12-08得票数 3
回答已采纳
我有一个主要的XML索引https://www.example.com/sitemap-index.xml，它下面有多个子XML站点地图：
https://www.example.com/sitemap1.xml
https://www.example.com/sitemap2.xml
..。
https://www.example.com/sitemap10.xml
是否有一种方法可以使用curl或wget从Linux终端命令中提取在所有子XML站点地图中找到的所有curl？
我能够使用curl从特定的子XML站点地图中提取curl：
curl https://www.example.com
浏览 0提问于2022-02-17得票数 1
回答已采纳
2回答
我有外部HTML站点，我需要从该站点上的表中提取数据。但是，HTML网站的源代码除了代码中的表外，格式错误，因此我不能使用
xmllint --html --xpath <xpath> <file>
因为当网站上的HTML格式中断时，它不能正常工作。
我的想法是使用curl和删除表上方和下面的代码。当提取表时，代码是干净的，适合xmllint工具(然后我可以使用xpath )。但是，删除上面的所有内容对于shell来说是很有挑战性的，正如您在这里看到的：有一种方法，如何只从bash中的HTML中提取表的代码？Suposse，代码有这个结构。
<html>
&
浏览 2提问于2016-12-06得票数 11
回答已采纳
我正在编写一个脚本，将下载一个html页面的源代码作为一个文件，然后读取该文件，并提取一个特定的网址，位于一个特定的代码。(它只有一次出现)
这是一个我需要匹配的样本：
<img id="sample-image" class="photo" src="http://xxxx.com/some/ic/pic_1asda963_16x9.jpg"
URL前面的代码总是相同的，所以我需要提取以下代码之间的部分：
<img id="sample-image" class="photo" src="
和
浏览 0提问于2013-06-16得票数 2
我希望解析html文件以使用GREP提取“{{( ")}}”之间的字符串。我试过这样的方法：
grep '"[^{{_(|)}}$]"' *.html
但没起作用。
有人能帮帮我吗？
谢谢!
浏览 5提问于2020-03-27得票数 1
回答已采纳
我有几个包含ID的文件，我需要提取这些ID并将其存储到数组中，问题是所有ID都在同一条线上，并且都遵循相同的模式，而且每个文件都有我需要提取的任意数量的ID。例如，一个文件可能有一个id，另一个文件可能有4个id。因此，我不知道如何使sed命令工作。考虑到随机数量的is，我甚至不确定我试图做的事情是否可能
ID存储在的行遵循以下结构
somerandomstuf.wesbsite.ac.uk/people/js9g09'>somerandomstuf.wesbsite.ac.uk/people/dd13'>....somerandomstuf.wesbsite.ac
浏览 0提问于2020-10-02得票数 0
2回答
我看到了其他类似的问题，所以，但没有解决我的问题。
我有一个本地html页面，我想要提取链接，但我不只是想要链接，我想要创建链接的整个标记，比如
<a href="page1.html">My Page 1</a>
<a href="page2.html">My Page 2</a>
<a href="page3.html">My Page 3</a>
如果更容易的话，我也没意见
My Page 1
page1.html
My Page 2
page2.html
My Pag
浏览 3提问于2017-09-12得票数 0
回答已采纳
2回答
我正在尝试检索html文件中特定div标签中的一些数据。
我当前的html代码是以下格式。
<div class = "class0">
<div class = "class1">
<div class = "class2">
some text some text
</div>
Some more text
</div>
Too much text
</div>
当我尝
浏览 0提问于2014-05-28得票数 0
我在目录和子目录中有.html文件。我需要提取以"domain.com“开头的所有字符串。字符串的一部分可以如下所示：
["，
href="“target=
等。
我想要提取的是: folder1
anotherfolder2
等。
从所有文件夹中的所有文件到一个列表，每个单词-新行。
在StackOverflow上找到了一些喜欢的例子，但效果不佳。我尝试过这样做(从一些例子中)：
grep -Po '(?<=example.com=)[^,]*'
谢谢你的帮助！
浏览 3提问于2022-10-08得票数 2
回答已采纳
5回答
我有许多行的输入流，如下所示：
path/to/file: example: 'extract_me.proto'
path/to/other-file: example: 'me_too.proto'
path/to/something/else: example: 'and_me_2.proto'
...
我只想从这些行中提取*.proto文件名，并且我尝试过：
[INPUT] | sed 's/^.*\([a-zA-Z0-9_]+\.proto\).*$/\1/
浏览 4提问于2016-11-07得票数 0
回答已采纳
当我把单引号放在反斜杠上时
回波'\‘
它打印反斜杠，它不关心逃跑。
但是当我像这样在sed中使用相同的东西时
sed‘s//a/g:尝试将反斜杠替换为
或在grep的情况下
回显‘\/’\，它不工作，它也需要转义。
为什么要逃掉这个反斜杠？我是说，所有这些都失去了意义，对吧？
浏览 1提问于2013-02-10得票数 0
2回答
我正在做一些文字处理，以找到视频内容在html文件上传的用户。因此，我们定义了一个名为“视频”的标签，用户应该将视频文件放置在
<video> abcd.mp4 </video>
现在我用awk来提取有视频标签的线，
str=$(awk '/<video>/{flag=1;} /<\/video>/{print ;flag=0} flag { print }' file.html)
输出也包含标记，因此我要删除前缀和后缀以获取视频文件名。就这样做了，
prefix="<video>"
suffix=&#
浏览 4提问于2013-10-07得票数 2
回答已采纳
2回答
每次显示两种模式之间的文本
、、、、
我试图使用Unix命令来抓取一个html文件。我需要从我一直表示为regexs的两个标记中提取innerhtml文本。诀窍是，每次出现这种模式时，我都需要获取innerhtml文本。
示例：
<p class = "someClass"> Text I need to get </p>
<p class = "someClass"> Some more I need to get </p>
<p class = "someClass"> Even more text I need t
浏览 4提问于2016-12-08得票数 0
回答已采纳
4回答
我有个问题。我想用sed或grep命令在值中获得这个html的两个部分。我怎么能把它们都提取出来？
test.html：
<html>
<body>
<div id="foo" class="foo">
Some Text.
<p id="author" class="author">
<br>
<a href="example.com">bar</a>
</p>
&l
浏览 9提问于2017-07-09得票数 4
回答已采纳
2回答
我有一个文本文件，下面显示了文件内容的示例：
1234一个新的同源结构域编码基因与一个大的CpG岛有关，该岛被肌营养不良不稳定(CTG)n重复序列所打断。肌营养不良(DM)与蛋白激酶编码基因DMPK的( CTG )n三核苷酸重复扩增有关，该基因位于19q13染色体上。3.这种基因在病人组织中表达的特征，迄今产生了关于DMPK mRNA稳态水平的变化和在存在扩张时的最终DMPK蛋白水平的相互矛盾的数据。19号染色体的DM区基因丰富，重复扩增可能导致附近多个转录单元功能障碍，可能是染色质断裂的结果。我们已经在DMPK的3端寻找与CpG岛相关的基因。该区域的序列显示，该岛屿延伸超过3个。5kb，被(
浏览 0提问于2013-11-07得票数 0
1回答
我正在写一个bash脚本，它将下载页面，然后搜索一个jpg链接，并将它们下载。我塞满了grep/sed命令，无法让它们找到链接。到目前为止，我已经尝试过：
grep -e "http.*" -e ".*jpg" -n wget.html
和
sed -n '/http/,/jpg/p' wget.html
如何在linux中从http://搜索到jpg？或许除了sed，grep还有其他方法？
浏览 2提问于2011-12-17得票数 0
回答已采纳
2回答
我正在尝试创建一个linux bash script来下载一个html页面，从这个html页面中提取数字并将它们赋给一个变量。
html页面有几行代码，但我对以下几行很感兴趣：
<tr>
<td width="16"><img src="img/ico_message.gif"></td>
<td width="180"><strong> TIME 1</strong></td>
<td width="
浏览 0提问于2018-06-28得票数 0
1回答
我正在使用Apache Tika从各种文档格式中提取原始文本，包括office。
从包含超链接的word文档中提取文本时，仅提取文本，有关该超链接的信息将丢失。
有没有办法配置解析器，使底层链接也被提取出来？
ParseContext context = new ParseContext();
Detector detector = new DefaultDetector();
Parser parser = new AutoDetectParser(detector);
context.set(Parser.class, parser);
Metada
浏览 2提问于2015-11-11得票数 4
3回答
命令将href值降至特定的类值。
、、、、
我是shell脚本的新手，所以我需要一些帮助。通过shell脚本，我需要从被类过滤的html中获取href属性的值。
例：
<a class="other class" href="value I don't need"></a> <a class="some class" href="url I need"></a>
在本例中，我需要得到类“”的a标记的href值。我需要把这个值放入一个变量中，需要使用sed o grep，我对reggex一点也不熟悉，所以我需要您的帮助，
浏览 4提问于2015-01-20得票数 0
回答已采纳
1回答
我希望在使用Expect脚本时得到准确的提取数字。请看下面的代码片段：
spawn /opt/nsr/nsr_adv_config.sh create
expect "*Your selection:*"
puts "[ exec echo '$expect_out(buffer)' | grep "Generic (Other)" | sed 's/[[:blank:]]*//' | sed 's/ .*//' ]"
我从nsr adv config.sh创建的输出现在是：
Please sele
浏览 2提问于2013-09-11得票数 1
回答已采纳
2回答
sed的奇怪输出
、、
我有一些html文件，只想提取包含以下标签的行：
head
p
我使用sed提取文件的这些部分，如下所示：
grep "<head>" myfile.html | sed -e 's%\(head\)\(.*\)\(/head\)%title\2\/title%'
grep "<p>" myfile.html | sed -e 's%\(<p>\)\(.*\)\(</p\)\(>\)%\2\\%'
一切正常，但我在每一行的末尾得到"\“字符。我怎样才能克服这个问题？
浏览 2提问于2012-07-02得票数 0
回答已采纳
我想知道如何在HTML中提取超链接的内容，
例如：
<article id="post36">
<div>
<h3><a href="/blog/2019/4-14-canaries-in-the-coal-mine.html">Canaries in the Coal Mine</a></h3>
<p class="author">Posted by
浏览 0提问于2019-07-11得票数 0
回答已采纳
16回答
我想从html文件的锚标签中提取URL。这需要在BASH中使用SED/AWK来完成。请不要使用perl。
做这件事最简单的方法是什么？
浏览 2提问于2009-12-10得票数 62
在我想用shell脚本解析的html页面的javascript中有有效的json。首先，我希望将整个json字符串从{转换为}，然后我可以使用jq解析它。 这基本上就是我的html的样子： <!DOCTYPE html>
<html>
<head>
<title>foobar</title>
</head>
<body>
<script type="text/javascript" src="resources/script.js" char
浏览 30提问于2018-12-27得票数 1
回答已采纳
我需要测量我的一个算法的功耗，为此我使用了powertop实用程序。但是，我需要能够从交互式shell以预定义的时间间隔显示的列表中提取我的特定进程的功耗。
有人能帮我做这项工作吗？
提前谢谢。
浏览 1提问于2014-11-28得票数 3
3回答
我有相当数量的图像搜索结果，我想要转换成相当数量的实际图像。
所有结果都是单个图像的HTML页面，每个文件都包含子字符串
其中uri表示实际结果映像()的绝对URI。
但我不明白怎么把它提取出来交给wget。
cat imgres.html \ grep“/Google-Ergebnisür /\1/‘
浏览 5提问于2013-01-21得票数 0
回答已采纳
2回答
我需要删除html文件中的某些行，例如，在<BR>INSTANCE NAME is : T0<BR>和</table>的最后一次出现之间，应该包含上述两个模式。
示例输入：
</table>
<BR>INSTANCE NAME is : T0<BR>
<table BORDER=1 CELLPADDING=2>
<TD BGCOLOR=#5D6D7E><font color=white><center>ID</center></TD> <TD B
浏览 4提问于2018-12-26得票数 0
1回答
我正在编写bash脚本来从html标记中提取数据，我在另一个线程中找到了这个命令：grep -o '<tr>.*</tr>' HTMLFILE | sed 's/\(<tr>\|<\/tr>\)//g' > NEWFILE，它运行得很好。
但是要知道，我想从<a>标记中的链接中提取一个名称，比如<a href="www.mywebsite.com?name="What_I_Want_To_Extract">。我很努力，但没能适应下面的命令，有什么帮助吗？
浏览 0提问于2014-08-15得票数 0
回答已采纳
3回答
可能重复：
输入文件摘录
<TD class="clsTDLabelWeb" width="28%">Municipality: </TD>
<TD style="WIDTH: 394px" class="clsTDLabelSm" colSpan="5">
<span id="DInfo1_Municipality">JUPITER</span></TD>
我的正则表达式
(?<=<span
浏览 6提问于2010-08-29得票数 6
3回答
我正在帮助某人清理网站上的恶意软件感染，我很难正确匹配sed中的一些字符串，这样我就可以创建一个脚本来大规模搜索和替换/删除它。
这些字符串是：
<script>document.write('<style>.vb_style_forum {filter: alpha(opacity=0);opacity: 0.0;width: 200px;height: 150px;}</style><div class="vb_style_forum"><iframe height="150" width=
浏览 3提问于2012-10-24得票数 1
回答已采纳
我开始编码bash，不是最好的，但我有一个情况。我的输出如下：
Configuration file 'hello2.conf' is in use by process 735.
Ending
我想提取进程ID 735。我看到的答案是只从输出中提取数字，然后我就剩下2735了吗？
如何从输出中提取735？我在考虑搜索process，然后再去找号码呢？
谢谢!
浏览 1提问于2017-03-13得票数 1
回答已采纳
我有如下数据：
bark art|evt|evt|nat
barnburner evt|hum
bash evt|evt
battle act|act|act|evt|evt
bay anm|art|art|art|evt|nat|plt
beat act|act|atr|com|evt|evt|evt|hum|loc|tme
beating act|act|evt|evt
bread act|act|evt|evt|hum|nat
我希望能够从其中提取第一列中有字符串的所有行，但在第二列中提取特定的信息模式。更具体地说，我希望提取第二列中包含evt的行，并至少提取我
浏览 7提问于2014-09-29得票数 0
回答已采纳
2回答
我得到了一个网页来源，我想从网页上的链接中提取数字。名字/姓氏嵌入在链接中。我设法解析了页面中的所有链接，通过先保存代码，然后使用cat和grep，我得到了以下形式的结果
<a href="/apartments/rent/city-firstLastname.html">
cat webpage | grep apartments | \
while read line; do
echo ${line%.html}
done
如何从while循环中提取和回显名字和姓氏？我猜我的变量操作遗漏了一些东西谢谢
浏览 2提问于2014-10-24得票数 0
我正在尝试执行一个基于从自述文件中提取出来的命令。我可以使用grep和sed将其提取出来： cat README.md | grep -i "docker build" | grep -vi "dockerfile.debug" | sed 's/.*\(d[a-z]\).*/\1/' 这个脚本会给出类似'docker build‘的结果。我想执行这个命令。 但我不确定如何执行提取的文本。我认为'exec‘可以工作，但我不能应用它。请帮我找到一种方法来执行通过上述脚本提取的文本。
浏览 26提问于2019-02-06得票数 0
回答已采纳
我有一个文本文件，如下所示：
random useless text
<!-- this is token 1 -->
para1
para2
para3
<!-- this is token 2 -->
random useless text again
我想提取标记之间的文本(当然不包括标记)。我尝试使用##和%%来提取介于两者之间的数据，但不起作用。我认为它不是用来操作这么大的文本文件的。有什么建议吗?我该怎么做？也许是awk或sed？
浏览 0提问于2011-02-01得票数 21
回答已采纳
我有一个文本文件，它的一行内容如下：
<div id="page_footer"><div><? print('Any phrase's characters can go here!'); ?></div></div>
我想使用sed或awk提取单引号之间的子字符串，这样它就可以打印.
Any phrase's characters can go here!
我希望像上面那样对短语进行分隔，从单引号开始，以单引号结尾，后面紧跟着括号，然后是分号。下面带有捕获组的sed命令似乎不适合我。
浏览 0提问于2015-10-22得票数 0
回答已采纳
2回答
我有这个配置文件，其中的条目名括在方括号中：[]。我需要将每个条目名称提取到一个列表或变量中，以便在for循环中使用。仍然是新的，并且笨手笨脚地使用一些命令。我感觉grep是我的答案，但我不知道从哪里开始。任何帮助都将不胜感激。
[dropbox]
type = dropbox
scope = dropbox
token = {"access_token":"my_token"}
[drive2]
type = drive
scope = drive
token = {"access_token":"other_token"}
浏览 0提问于2020-11-21得票数 0
我希望创建一个快速脚本，但我遇到了一些问题。
<li type="square"> Y </li>
我基本上是使用wget下载一个HTML文件，然后尝试在该文件中搜索上面的代码片段。Y是动态的，每次都会改变，所以在一个中可能是"Dave"，而在另一个中可能是"Chris“。所以我试着让bash脚本找到
<li type="square"> </li>
告诉我这两者之间有什么。文件的一般格式非常混乱：
<html stuff tags><li type="square
浏览 0提问于2013-04-21得票数 1
我不明白这个命令是干什么的：
grep '<span id="geodata" class="geo">[-0-9.]*; [-0-9.]*</span>' -R articles/ --only-matching | sed 's@articles//@@' | sed 's@:<span id=.geodata. class=.geo.>@ @' | sed 's@; @ @' | sed 's@</span>@@' | sort
浏览 0提问于2017-09-12得票数 0
回答已采纳
我有一个很大的文档网站，看起来像这样：
<title>DOCTITLE</title>
<h1>Some Title</h1>
我正在尝试使用Cygwin在每个文件中用一些标题替换DOCTITLE。
更具体地说，我需要从每个文件中提取<h1>标记之间的任何文本，并用提取的文本替换文字字符串"DOCTITLE“。
这里有一个想法，它不起作用，但说明了我所追求的精神：
find . -name "*html"
-exec sed -i
's/DOCTITL
浏览 0提问于2012-07-11得票数 0
回答已采纳
2回答
我有一个文件，其中包含不同信息的相同标题。我想提取其中一个的信息。该怎么做呢？
实际上，我想从/membership_number=中提取数字234874“ID :234874代表一个叫萨拉的人，而不是从约翰那里提取相同的ID。实际上，这个数字可以是任何东西，我只想在不知道确切数字的条件下提取数字: grep '234874‘
浏览 0提问于2017-03-26得票数 0
3回答
我正在尝试使用shell脚本从文本文件中提取匹配模式的单词。例如，如果一行包含
This is a sample text to illustrate my scenario text=info id=2342
Second line to illustrate text=sample id=q2312
我希望输出像
text=info id=2342
text=sample id=q2312
有人能告诉我如何使用剪切/grep命令来实现它吗？
浏览 6提问于2015-05-20得票数 0
回答已采纳
3回答
使用bash在标记之间附加状态
、、、、
我使用grep命令提取file.xml中的<cite> </cite>之间的所有内容：
grep -Po "(?<=<cite>).*?(?=</cite>)" /tmp/file.xml
结果如下：
<strong>site.com</strong>/<strong>blahblah</strong>/foo #and may be with more tags named strong
<strong>site2.com</strong>/req/
浏览 4提问于2014-10-28得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
