如何使用Python从包含"show more“的网页中提取所有urls？
要使用Python从包含"show more"的网页中提取所有URLs，可以使用以下步骤：
- 导入所需的模块：
import requests
from bs4 import BeautifulSoup- 使用requests库发送GET请求获取网页内容：
url = "网页的URL地址"
response = requests.get(url)- 使用BeautifulSoup解析网页内容，找到包含"show more"的元素：
soup = BeautifulSoup(response.text, "html.parser")
show_more_button = soup.find("a", text="show more")- 模拟点击"show more"按钮以展开更多内容：
show_more_url = show_more_button["href"]
expanded_response = requests.get(show_more_url)
expanded_soup = BeautifulSoup(expanded_response.text, "html.parser")- 在展开的网页中查找所有URLs，并将它们保存到一个列表中：
urls = []
for link in expanded_soup.find_all("a"):
url = link.get("href")
if url:
urls.append(url)最终，你将获得一个包含所有提取出的URLs的列表urls。
请注意，以上代码只是一个基本示例，实际情况中可能需要根据具体的网页结构和需求进行适当的修改。此外，为了使用Python从网页中提取URLs，你需要对Python编程语言有一定的了解，并且需要使用到requests和BeautifulSoup库。
相关·内容
我需要提取网页链接以从这些页面下载PDF文件，我正在考虑从网站提取网页链接，然后过滤掉PDF链接，并使用下载管理器下载所有pdf文件。如何在python代码中使用多个链接来下载所有链接，它只适用于一个网页链接。
from bs4 import BeautifulSoup
urls = 'https://www.nzx.com/announcements/190008'
urls = 'https://www.nzx.com/announcements/372918'
urls = 'https://www.nzx.com/ann
浏览 0提问于2021-06-15得票数 2
2回答
如何使用map应用n次函数
、、、、
我开始学习如何以功能的方式使用python，并且我面临着一个我无法解决的问题。
我有以下代码(部分来自)，它完全符合我的要求：
url = "www.testpage.com/"
def gen_url(prefix, suffix, places=3):
pattern = "{}{{:0{}d}}{}".format(prefix, places, suffix)
for i in count(1):
yield pattern.format(i)
list_of_urls = []
for c in "xyz
浏览 6提问于2015-09-16得票数 4
回答已采纳
1回答
相对来说，我是蟒蛇的新生。我刚刚学会了如何使用python识别网页中的urls。但是，现在我想从网页中的图表中提取数据。
我有三个问题需要有意见。
它需要登录才能看到网页。(用户名:18521057966；pw:saifmf)
无法从源代码中找到数据(我假设为html)
如果我们能找到哪一部分是图表，我们如何提取数据。
浏览 1提问于2015-04-23得票数 1
我一直试图找出如何使用python从docx文件中获取urls，但什么也找不到，我尝试过python-docx和python-docx2txt，但python-docx似乎只提取文本，而python-docx2txt能够从超链接中提取文本，而不是urls本身。
浏览 3提问于2016-11-08得票数 3
1回答
我从网页上收集所有网址的列表。我的问题是，这个列表也包含了我不想在URL列表中看到的所有图片。
这个脚本给了我网页上的所有链接。
function getUrl($html)
{
$regex = '/\b(https?|ftp|file):\/\/[-A-Z0-9+&@#\/%?=~_|$!:,.;]*[A-Z0-9+&@#\/%=~_|$]/i';
preg_match_all($regex, $html, $matches);
$urls = $matches[0];
return $
浏览 2提问于2014-06-09得票数 0
1回答
我想从网页中提取所有的Urls，包括那些出现在“隐藏”按钮后面的Urls(见图片)。
另外:是否可以在搜索中包含多个页面(见图)
谢谢!
我设法从页面中提取urls，但这不包括隐藏的urls。
req = Request('https://www.sainsburys.co.uk/gol-ui/SearchResults/vegan') #example
html_page = urlopen(req)
soup = BeautifulSoup(html_page, "lxml")
df = pandas.DataFrame()
l
浏览 4提问于2022-04-14得票数 -1
1回答
我有一个R脚本，在该脚本中，我从网页中提取数据，我的脚本运行正常，但我想删除带有仪器列的筛选器，或者从以下文件中提取数据：
我从其中提取数据的页面如下所示，仪器列中有一个过滤器。
#脚本如下：
library(rvest)
urls.colombia.compra <- paste0("https://colombiacompra.gov.co/tienda-virtual-del-estado-colombiano/ordenes-compra?page=",
0:11,
浏览 13提问于2021-07-21得票数 0
回答已采纳
1回答
从多个网页中抓取urls
、、、
我试图从多个网页中提取URL(在本例中为2)，但出于某种原因，我的输出是从第一页提取的URL的重复列表。我做错了什么？
我的代码：
# URLs of books in scope
urls = []
for pn in range(2):
baseUrl = 'https://www.goodreads.com'
path = '/shelf/show/bestsellers?page='+str(pn+1)
page = requests.get(baseUrl + path).text
print(baseUrl+path)
浏览 0提问于2020-05-28得票数 0
回答已采纳
我是一个新手，尝试使用Python从本地HTML文件中获取数据，以提取名称，并将ID保存为CSV文件中的表。HTML如下：
<td>
<a href="https:............" data_id="45498" class="roster_user_name
......
<span name="Clarence Alan" src="
</a>
</td>
<td>
88889999
</td>
我的代码有名
浏览 1提问于2022-01-09得票数 0
1回答
函数无法获得空的td元素。
、、、、
我对网络抓取是非常非常新的，而且我还在学习。目前，我正在使用Python和Scrapy来构建我自己的web刮板，但是我遇到了一些非常奇怪的事情。
我试着在这里刮一下这个网页，就像一个练习：
这基本上是一个网页，列出了世界各国的债务占GDP的比率。现在，如果您注意到，没有在该网页的表格中记录任何人口号码。
我试图使用这个xpath表达式从该网页中提取每个国家的人口：
import scrapy
import pandas as pd
class GdpDebtSpider(scrapy.Spider):
name = 'gdp_debt'
allow
浏览 3提问于2020-10-27得票数 0
回答已采纳
我正在尝试提取特定类型的链接从网页使用php
链接如下所示。
我想提取所有的链接，像上面的格式。
maindomain.com/pages/somenumbers/sometexts
到目前为止，我可以从网页中提取所有的链接，但上面的过滤器没有发生。我怎么才能得到这个呢？
有什么建议吗？
<?php
$html = file_get_contents('http://www.example.com');
//Create a new DOM document
$dom = new DOMDocument;
@$dom->loadHTML($html);
浏览 4提问于2016-05-22得票数 1
2回答
如何在响应为html/text而不是json的情况下，使用无限滚动的方式废弃网页。
我的第一次尝试是使用Rule和LinkExtractor，这使我获得了大约80%的工作url
class JobsetSpider(CrawlSpider):
name = 'test'
allowed_domains = ['jobs.et']
start_urls = ['https://jobs.et/jobs/']
rules = (
Rule(LinkExtractor(allow='https:
浏览 3提问于2017-11-03得票数 6
回答已采纳
2回答
一些具有urls的网页具有“下载”文本，这是超链接。
如何通过python或ironpython从urls/页面中获取超链接？
我可以通过python或ironpython下载带有这些超链接的文件吗？我该怎么做呢？
有没有什么C#工具？
我不是以英语为母语的人，所以很抱歉我的英语。
浏览 0提问于2010-07-16得票数 0
回答已采纳
给定一个可能包含多个urls的文本字符串，所有这些都以http://开头
例如：
someString = "Text amongst words and links http://www.text.com more text more text another http http://www.word.com"
如何从上面这样的字符串中提取所有的urls？
刚刚离开
浏览 2提问于2014-09-22得票数 0
回答已采纳
3回答
我在java中有一个正则表达式，可以从我抓取的网页中提取特定的urls。这些urls基本上是javascript和样式表，它们包含在页面中。我选择使用正则表达式来提取这些内容，而不是解析文档，因为这应该更容易，而且解析文档对我没有任何附加价值。
为了获得有效的urls (绝对或相对)，我使用以下正则表达式：
([^"',\(]*)/endofurl
它提取'"，(和url结尾之间的任何内容，在本例中为'/endofurl‘。
示例：
问题是它没有那么快(可能是因为(^"'，(*)部分)。有没有办法加快速度，比如让它先查找'/
浏览 2提问于2017-01-20得票数 1
3回答
我知道我可以使用许多方法从一个网页中检索所有的urls，比如“机械化”、BeautifulSoup和许多其他方法。
然而，问题是，有些页面可能包含由Javascript加密的urls，或者是从.js文件中加载的urls。
在Firefox中，有一个名为"Live“的插件，当您打开这个插件并访问一个网页时，该插件将为您获取已加载到网页中的所有URL。
我想在蟒蛇身上做同样的事情，有什么想法吗？
PS: I通过PhantomJS和一个python成功地完成了它，然后解析了python输出。
#!/usr/bin/env python
from selenium import webdriv
浏览 3提问于2015-02-28得票数 1
我目前有两个CasperJS脚本，为了便于使用，我想将它们合并成一个。for为链接( <a>元素)抓取一个网页。所有得到的链接都存储在一个数组urls中。脚本test2.js获取一个link并从iframe提取youtube src链接。
如何收集所有链接(test1.js)，然后访问每个链接以提取youtube链接(test2.js)，最后将YouTube链接存储在数组中并显示结果？
test1.js
var urls = [];
var casper = require('casper').create();
function getNumberOfItems(
浏览 9提问于2015-03-15得票数 1
回答已采纳
1回答
关系抽取注释器
、、、、
我在文本文件中有一组urls。对于该文本文件中的每个url，我希望标记包含在该url中的文本中的实体和关系。
我知道实体taggers像Stanford，NLTK和GATE，它们可以执行实体标记。然而，我更感兴趣的是关系提取。
为了提取关系，我正在考虑注释这些urls中的文本，以供培训之用。为此，我不想做手动注释。我可以写几个regex来提取我想要的关系，但是很难扩大规模。
是否有一个工具可以在其中指定我想要注释的内容？
例如：
罗伯是ABC公司的主任，毕业于XYZ大学
在这里，我想提取关联关系，所以直觉上我想注释一下描述关联的单词，比如工作，毕业。
编辑:通过“文本文件中的一组URL
浏览 1提问于2015-05-10得票数 0
回答已采纳
我是python的新手，如果我的问题是非常基本的，我很抱歉。在我的程序中，我需要解析一个html网页并提取其中的所有链接。假设我的网页内容如下所示：
<html><head><title>Fakebook</title><style TYPE="text/css"><!--
#pagelist li { display: inline; padding-right: 10px; }
--></style></head><body><h1>testwebapp&
浏览 0提问于2017-09-17得票数 0
回答已采纳
我想从网页中扩展所有的urls。
我使用的python代码是
htmlfile=urllib.urlopen("http://dubai.dubizzle.com/property-for-rent/residential/apartmentflat/").read()
soup=BeautifulSoup(htmlfile)
link=soup.find_all('a', xtclib="listing_list_1_title_link", href=True)
for a in link:
print a['href&#
浏览 1提问于2014-02-02得票数 2
回答已采纳
1回答
我正在使用python中的包从SalesForce中提取数据。
我有一个有280万条记录的表，我正在使用query_more提取所有数据。
SOQL一次提取1000行。如何增加python中的批处理大小以一次提取最大行数。我希望每次最多的行数是2000行。
谢谢
浏览 4提问于2015-04-22得票数 0
1回答
我想从各种评论网站中提取某些内容(评论信息)。
首先。我开始只用一个网页提取内容。我可以做到这一点，没有任何问题。我已经写了一段python代码来实现同样的功能。然而，我不确定如何使用相同的python模块从多个网站中提取。
我最初使用下面的代码来提取网站的评论：
from webscraping import download, xpath
D = download.Download()
# download and cache the Google Code webpage
html = D.get('http://code.google.com/p/webscraping'
浏览 0提问于2017-04-25得票数 2
2回答
如果有漂亮的汤(python)，是否可以绝对地提取urls而不是网页的相对urls？
例如，当我废弃并询问href链接时:soup.findAll(‘a’)中的链接：
它返回相对于绝对urls的内容：
http://bing.com/?scope=web&FORM=Z9LH
/maps/?FORM=Z9LH3
/news?FORM=Z9LH4
/explore?FORM=Z9LH5
/profile/history?FORM=Z9LH6
http://fr.msn.com/
http://www.office.com?WT.mc_id=O16_BingHP
非常感谢。
浏览 5提问于2016-06-17得票数 0
回答已采纳
3回答
我正试图从Tripadvisor.com网页中抓取/提取公司/酒店的网站。当我检查网页时，我没有看到网站网址。知道如何使用python提取网站url吗？提前道歉，因为我最近才开始“在Python.‘网上刮擦”。谢谢。
请看到图像中的两个红色箭头。当我选择网站链接时，它会将我带到'‘--这就是我想使用Python提取的内容。
浏览 4提问于2018-02-01得票数 7
回答已采纳
我正在编写一些代码(Python)来从网页中抓取文本。我的目标是找到一种方法来过滤/删除网页上不属于主文章的段落(例如广告、链接到其他文章等)。
到目前为止，我一直在使用.find_all("p")命令从文本中提取段落，虽然成功地从文本中提取了许多基本段落，但这些段落并不在每篇文章的主体/正文中。这是我现在的代码：
from urllib.request import Request, urlopen
from bs4 import BeautifulSoup
URLs = [
"https://www.elsoldetoluca.com.mx/local/propo
浏览 6提问于2021-07-27得票数 0
回答已采纳
我对python/BeautifulSoup有点陌生，我想知道我是否能得到一些关于如何完成以下工作的指导。
我有一个网页的html，它的结构如下：
1)包含在包含所有图像名称(Name1、Name2、Name3 )的标记中的代码块。
2)包含在具有图像urls的标记中的代码块。
( 3)出现在网页上的日期。我把它放入“日期”变量(这已经被提取了)
从代码中，我试图提取包含[‘image1 1’、‘url2 1’、'date‘、’image1 2‘、’url2 2‘、’date‘的列表列表，然后将其转换为字典(通过dict(zip(标签，值))函数)，并插入mysql表中。
我所能想出的
浏览 1提问于2017-10-12得票数 2
回答已采纳
我正在尝试从我们公司创建的网站中提取内容。我已经在MSSQL Server中为Scrapy数据创建了一个表。我还设置了Scrapy并配置了Python来抓取和提取网页数据。我的问题是，如何将Scrapy抓取的数据导出到本地MSSQL Server数据库中？
这是Scrapy用于提取数据的代码：
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
浏览 1提问于2017-04-07得票数 2
我得到了一个Joomla的所有者(谁不知道网页开发)的许可！网站从网站上提取文章(真实的！)
我从RSS提要中获得urls，但提要不包括全文。
您知道如何操作index.php参数以使文章尽可能清晰吗？
这个网址现在看起来是：
http://www.example.com/index.php?option=com_content&task=view&id=2093&Itemid=1
浏览 3提问于2009-09-03得票数 1
回答已采纳
2回答
我引用这个链接从包含特定单词的网页中提取url。
但是很少有像pinterest和facebook referal url这样的url包含我感兴趣的单词，但是我不想使用facebook，pinterest url，因为它们不是直接url，所以我想排除这些url，所以我注意到这些url至少包含两个http
像这样的东西
因此，我想排除至少包含两个http的urls。
浏览 3提问于2013-12-09得票数 1
回答已采纳
我是c#的新手，我真的需要帮助解决以下问题。我希望从网页中提取具有特定模式的照片urls。例如，我希望提取具有以下模式name_412s.jpg的所有图像。我使用以下代码从html中提取图像，但我不知道如何修改它。
public void Images()
{
WebClient x = new WebClient();
string source = x.DownloadString(@"http://www.google.com");
HtmlAgilityPack.HtmlDocument document = n
浏览 3提问于2012-11-18得票数 5
回答已采纳
1回答
在Scrapy中，您必须定义start_url，但是我如何从其他urls中爬行呢？
到目前为止，我有一个登录脚本，登录到一个网页。登录后，我希望从不同的urls中提取xml。
import scrapy
class LoginSpider(scrapy.Spider):
name = 'example'
start_urls = ['login page']
urls = ['url','url']
def parse(self, response):
return scrapy.FormReq
浏览 2提问于2015-06-05得票数 1
回答已采纳
教程中的 (如下)包含两个start_urls。
from scrapy.spider import Spider
from scrapy.selector import Selector
from dirbot.items import Website
class DmozSpider(Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/L
浏览 0提问于2012-01-18得票数 7
我是编程新手，我有一个问题是如何从网站上的页面中提取特定的信息，压缩数据以检查是否满足某些参数，并存储满足参数的页面的urls。
问题是：
-There是一个有几篇文章的网站。-I希望能够制作网站上包含少于x个单词的文章的urls列表。
我不需要编码或其他方面的帮助，因为我是新手，这本质上是我学习编程的自我练习。
我只是有一些问题，比如如何做这件事。我只知道HTML和minimal Ruby，这就是我的知识范围。
我只是不知道如何从网页中“拉”出数据。:S我将使用什么来拉取HTML？拉出HTML后，我该如何处理它？是否将其转换为Ruby？如果是这样的话，是怎么做的？
浏览 0提问于2011-04-09得票数 2
回答已采纳
0回答
因此，我创建了一个包含三个html页面的Django应用程序。我想从一个网页，这不是另一个主页。然而，当服务器试图访问后一个页面时，url中似乎有一些混淆。
下面是我的应用程序urls.py：
from django.conf.urls import url
from . import views
urlpatterns = [
url(r'^$',views.homepage,name='homepage'),
url(r'^findnow.html/$',views.f
浏览 0提问于2016-07-01得票数 0
回答已采纳
我找到了一些关于如何从任何网站提取所有可用链接的主题的答案，所有这些都是关于scrapy模块的。ALso复制了其中一个代码示例： from scrapy import Spider
from scrapy.linkextractors import LinkExtractor
class MySpider(Spider):
name = 'myspider'
start_urls = ['http://webpage.com']
def parse(self, response):
le = LinkExtracto
浏览 18提问于2019-06-16得票数 0
回答已采纳
1回答
我正在执行网络抓取在R(使用rvest)的一个特定的数据集在各种网页上。所有的网页都是相同格式的，所以我可以从每个页面的位置提取目标数据，使用正确的节点，没有问题。然而，有100个不同的网页，都有相同的网址(除了结尾)。是否有一种方法可以使用循环自动执行流程？
我使用以下代码：
webpage_urls <- paste0("https://exampleurl=", endings)
其中，endings是给出单独网页的100个结尾的向量。
然后
htmltemplate <- read_html(webpage_urls)
然而，我随后收到了Error: `x`
浏览 11提问于2022-07-05得票数 1
回答已采纳
1回答
在大量URL中检测重复网页
、、、、
引用中的一句话，
"In fact, we found even more than 1 trillion individual links, but not all of
them lead to unique web pages. Many pages have multiple URLs with exactly the same
content or URLs that are auto-generated copies of each other. Even after removing
those exact duplicates . . . "
谷歌是如何检测那
浏览 1提问于2013-09-04得票数 4
我正在寻找一种方法，从学生住宿网站uniplaces：刮数据。
最后，我想为每一处房产搜集一些特别的信息，比如卧室的大小、室友的数量、位置等。为了做到这一点，我将首先必须刮除所有的属性链接，然后刮除个别的链接。
但是，即使在通过控制台并使用BeautifulSoup提取urls之后，我也无法提取导致单独列表的urls。它们似乎并不包括在href中，而且我无法识别html代码中任何其他格式的链接。
这是我使用的python代码，但它也没有返回任何内容:从bs4导入BeautifulSoup导入urllib.request
resp = urllib.request.urlopen("ht
浏览 0提问于2018-10-30得票数 0
回答已采纳
2回答
我正在开发一个Outlook网页插件，涉及从邮件中提取所有超链接。我目前正在通过获取所有的a标签元素来做到这一点。 var htmlParser = new DOMParser().parseFromString(asyncResult.value, "text/html");
var urls = htmlParser.getElementsByTagName("a"); 然而，我发现，只要包含www.，Outlook for PC就会将文本显示为超链接，即使文本并不意味着是超链接。例如，我尝试给自己发送一封内容为www.example.com的电子邮件，并
浏览 70提问于2020-11-30得票数 0
回答已采纳
我刚开始学习python，并尝试学习异步模块。我对从异步任务获得返回值感到沮丧。有一篇文章谈到了这个主题，但是它无法判断哪个值是由哪个任务返回的(假设某个网页响应比另一个更快)。
下面的代码试图同时获取三个网页，而不是一个接一个地进行。
import asyncio
import aiohttp
async def fetch(url):
async with aiohttp.ClientSession() as session:
async with session.get(url) as resp:
浏览 1提问于2021-03-19得票数 0
回答已采纳
我有一个网页，我使用Python中的resources模块从该网页获取文本。但是，我不明白，如何从文档中获取像126.23.73.34这样的数字模式，并使用re模块将其提取出来？
浏览 1提问于2013-05-03得票数 0
回答已采纳
1回答
我需要从：提取映射组件到静态映像。
此页面包含一个基于传单的交互式网页地图，其中层数据通过web映射服务每天更新。提取的图像应该包含在地图上加载的任何层。
这也需要自动化，这样就没有人会打开网页浏览器并转到URL。提取的图像将转到Word文档。
我是一个Python程序员，但我无法通过BeautifulSoup ( Python )或Cheerio ( nodejs )实现它，因为映射不是img元素，而是几个动态DIVs。如何将地图合成作为图像？
浏览 1提问于2018-12-21得票数 1
回答已采纳
这是我到目前为止的代码：
import urllib2
with urllib2.urlopen("https://quora.com") as response:
html = response.read()
我是Python的新手，不知何故，我成功地获取了网页，现在如何从网页中提取I和类？
浏览 2提问于2016-10-29得票数 2
这里的Python代码读取包含网站链接的list.txt，然后从这些网站中提取webarchive.org中的URLS，并将它们写入urls.txt。我想要的是只提取包含特定“单词”的行。正如我所看到的，如果一个特定的"WORD“存在于一行中，我的代码将提取所有行。
有人能解释原因吗？提前谢谢你！
守则：
urls = []
with open("list.txt", "r") as f_in:
for line in map(str.strip, f_in):
if line == "":
浏览 2提问于2022-05-05得票数 1
回答已采纳
我需要从给定的HTML中提取特定的urls。例如，<a>和属性href如下所示：
<a href="https://hoster.com/some_description-specific_name-more_description.html">
我只需要提取包含"hoster.com“和"specific_name”的urls。
我在覆盆子Pi上使用了BeautifulSoup，但我只能提取HTML的所有ULR。
from bs4 import BeautifulSoup
with open("page.html")
浏览 2提问于2022-04-03得票数 -1
回答已采纳
1回答
生成变量的Perl脚本
、、、
我正在运行一个从网页中提取链接的脚本，但每次网页上的某些内容发生变化时，网页都会输出不同数量的正确urls，对于此脚本而言，这种情况经常发生。我的‘约束’是$tco，它确保urls只以开头
$tconike = (grep /$tco/, @links);
print "$tconike\n";
这决定了满足我的需求的urls的数量，它打印'2‘。
my @found = (grep /$tco/, @links);
if (@found) {
for my $url (@found) {
print "$found[0]\n";
浏览 0提问于2014-05-07得票数 0
我想使用R提取所有的网址，目前打开的网页浏览器。请考虑以下示例：
我打开了firefox浏览器。
在firefox浏览器中，我打开了URL 和。
如何从R内提取这两个URL，以获得以下输出？
my_urls <- c("https://www.google.de/", "https://www.amazon.com/")
my_urls
### [1] "https://www.google.de/" "https://www.amazon.com/"
在进行了一些研究之后，我怀疑这在中是可能的，但不幸的是
浏览 1提问于2020-04-08得票数 5
回答已采纳
你好，我正试图解析一个文本并提取它中的Tiktok
text = "This is a text https://www.tiktok.com/@tt_user/video/7620173214578963251 and more text"
通常在python中，为了解析url，我使用以下regex：
import re
url = re.search("(?P<url>https?://[^\s]+)", text).group("url")
但是对于tiktok，这个方法失败了(我假设它是用于url中的"@“)
Attr
浏览 1提问于2022-05-27得票数 0
回答已采纳
3回答
我以前没有使用过RegEx，似乎每个人都同意它对网页抓取和html不好，但我真的不确定如果没有它我的小挑战该如何解决。
我有一个小的Python刮刀，可以打开24个不同的网页。在每个网页中，都有指向其他网页的链接。我想做一个简单的解决方案，得到我需要的链接，即使网页有点相似，我想要的链接不是。
urls之间唯一的共同点似乎是一个特定的字符串：'uge‘或'Uge’(uge在丹麦语中是星期的意思-周的数字每周都会改变，对吧)。
我认为可以使用RegEx浏览网页，找到其中包含“Uge”或“Uge”的所有urls，然后打开它们。但是有没有办法使用BS来做到这一点呢？如果我使用RegE
浏览 4提问于2012-10-30得票数 0
回答已采纳
我试图刮刮所有的说唱歌词，文本文档，并将它们放在一个数组从以下的网页()。
我遇到了一个难题，弄清楚如何编写一个脚本，该脚本将转到最低的子链接，并将文本拖到数组中。
我的代码：
import requests
from bs4 import BeautifulSoup
base_site = "https://ohhla.com/all.html"
response = requests.get(base_site)
relative_urls = [a['href'] for a in soup.select('a[href]') if
浏览 1提问于2022-09-15得票数 -1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
