用BeautifulSoup和Selenium从动态网页抓取urls的问题
BeautifulSoup和Selenium是两个常用的Python库，用于从动态网页中抓取URLs。
- BeautifulSoup是一个用于解析HTML和XML文档的库，它可以帮助我们从网页中提取出所需的信息。它的优势包括：
- 简单易用：BeautifulSoup提供了简洁的API，使得解析网页变得非常容易。
- 强大的解析能力：它可以处理各种复杂的HTML结构，并且能够自动修复一些不完整或错误的标记。
- 支持多种解析器：BeautifulSoup支持多种解析器，包括Python标准库中的html.parser、lxml、html5lib等，可以根据需要选择最适合的解析器。
在使用BeautifulSoup抓取动态网页中的URLs时，我们首先需要使用其他工具（如Selenium）模拟浏览器行为加载网页，然后将加载后的网页源代码传递给BeautifulSoup进行解析。
- Selenium是一个用于自动化浏览器操作的工具，它可以模拟用户在浏览器中的操作，如点击、输入、滚动等。它的优势包括：
- 支持多种浏览器：Selenium可以与多种浏览器（如Chrome、Firefox、Safari等）进行集成，可以根据需要选择最适合的浏览器。
- 模拟真实用户行为：Selenium可以模拟用户在浏览器中的各种操作，使得我们可以获取到动态加载后的网页内容。
- 动态等待：Selenium提供了等待机制，可以等待特定的元素加载完成后再进行操作，确保获取到完整的网页内容。
使用Selenium抓取动态网页中的URLs时，我们可以通过模拟用户操作来加载网页，然后使用Selenium提供的API获取到加载后的网页源代码，再将其传递给BeautifulSoup进行解析。
综上所述，使用BeautifulSoup和Selenium可以实现从动态网页中抓取URLs的功能。在使用过程中，我们可以根据具体的需求选择合适的解析器和浏览器，并结合其他Python库和工具进行进一步的数据处理和分析。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云官网：https://cloud.tencent.com/
- 腾讯云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iot
- 腾讯云区块链（BCS）：https://cloud.tencent.com/product/bcs
- 腾讯云元宇宙（Metaverse）：https://cloud.tencent.com/product/metaverse
相关·内容
我是第一次抓取网页，我在从网站抓取urls列表时遇到了麻烦。当我用/usr/lib/chromium browser/chromedriver替换指定的路径时，它在协作模式下工作得很好，但是当我在IDE上尝试这段代码时……
浏览 18提问于2021-03-23得票数 0
回答已采纳
我正在尝试从here抓取文章的日期和网址。虽然我确实得到了日期列表和文章的标题(文本)，但我无法获得相同的Urls。这就是我如何在文本和日期中获得url标题。n_dates = [ele.text for ele in dates] print(n_dates) 这给了我一个类似如下的输出'May 28th, 2021', 'May 26th, 2021
浏览 38提问于2021-08-09得票数 0
回答已采纳
我正在试着从列表中剔除一些房地产网站的列表。我写了一些简单的代码来从一个url获取数据，但是当我尝试使用列表'url1'，'url2‘时，我什么也得不到。我也在尝试csv列表，但我仍然一无所获。“”“import requestsfrom bs4 import BeautifulSoup
url = 'https://www.zillow.com61.0.3163.100 Safari/537.36&#
浏览 0提问于2020-02-26得票数 0
2回答
我想用class="_1UoZlX“从这个特定页面- 的搜索结果中抓取锚链接。import requestsfrom selenium import webdriver wait.un
浏览 3提问于2016-12-26得票数 6
回答已采纳
我想要创建一个简单的应用程序，它将在特定页面上的Console中执行JavaScript命令，并返回一个输出。urls = $$('a'); for (url in urls) console.log(urls[url].href);
function ma
浏览 0提问于2019-08-10得票数 2
回答已采纳
3回答
从性能上看，使用BautifulSoup进行web抓取比使用Selenium的web驱动程序要快得多，这一点非常明显。但是，我不知道从动态网页获取内容的其他方法。我认为不同之处在于浏览器加载元素所需的时间，但它肯定不止如此。一旦浏览器加载页面(5秒)，我所要做的就是从一个表中提取一些<tr>标记。大约花了3-4分钟才提取出1016条记录，在我看来这是非常缓慢的。我得出的结论是，用于查找元素(如find_e
浏览 0提问于2019-09-14得票数 0
回答已采纳
我正在尝试使用python来抓取一个用无限滚动实现的网站。实际上，网络就是pinterest。我知道如何使用selenium来抓取具有无限滚动的web。但是，WebDriver基本上模仿了访问web的过程，而且速度慢得多，比使用BeautifulSoup和urllib进行抓取要慢很多。你知道有什么时间有效的方法来刮一个无限滚动的网页吗？谢谢。
浏览 0提问于2014-12-29得票数 0
回答已采纳
1回答
我正在尝试抓取OldNavy网页上产品的urls。然而，它只给出了产品列表的一部分，而不是全部(例如，当有超过8个的时候，只给出了8个urls )。我希望有人能帮我找出问题所在。from bs4 import BeautifulSoupimport html5libimport urllib/www.oldna
浏览 0提问于2016-11-24得票数 1
我正在写一个小的私人应用，每天自动登录我的网上银行，并下载最新的交易。我把它写成Django应用程序，所以我在Python中工作。我的网上银行似乎没有JavaScript就不能工作--我认为它使用JavaScript分配某种类型的会话ID。通过httplib获取登录页面给了我一个页面，告诉我JavaScript是必需的。虽然它是为测试web应用程序而设计的，但我认为它可以完成这项工作，所以我想知道是否有比测试更通用的功能。
对于这类事情，Python可
浏览 3提问于2010-01-24得票数 19
回答已采纳
3回答
我正在尝试抓取这个webpage 我想从下表中获取内容： ? srl-tab-handball-playerstats sr-widget sr-widget-level-0 sr-handball-playerstats sr-normal 我使用了以下代码： from seleniumimport webdriver
link = "https://www.liquimoly-hbl.de/en/import/
浏览 46提问于2021-03-20得票数 1
回答已采纳
我试图抓取表格标签(一个herf)中的超链接。然而，它不起作用。你能帮助改进这段代码吗？ ? from bs4 import BeautifulSoupfrom selenium import webdriverdfs = pd.DataFrame()driver.execute_script('return document.documentElement.outerHTML') driver.quit()
浏览 66提问于2021-02-06得票数 0
1回答
我用Python构建了一个机器人来在flashscore.com上抓取分数，但是从站点中抓取的数据加载到它的列表框中非常缓慢。我对selenium的速度很好奇，所以我做了一个按钮来打印所有的文本，结果显示速度很快，所以一定是if elif块减慢了程序的速度。from tkinter import *import threading
浏览 0提问于2015-05-09得票数 8
有谁能确切地解释一下，是否有一种方法可以使用从这个网页BeautifulSoup中抓取链接，还是只能使用Selenium？url = 'https://hackmd.io/@nearly-learning/near-201' bs = BeautifulSoup(html.readloads more. if 'href' in link
浏览 8提问于2022-03-31得票数 0
我需要抓取一个网页()，但我遇到了一个问题--我需要在首页显示的文本绝对隐藏在许多不同的格式化标记中。我知道如何使用Beautiful Soup抓取常规页面，但这并不能满足我的需要(例如，文本丢失，一些标签通过...)from bs4 import BeautifulSoupfrom collections import Counter
urls = ['https:/
浏览 1提问于2014-09-09得票数 0
2回答
import requestsimport pandas as pd
page = requests.get(url) cols = [ele.text.str
浏览 21提问于2021-06-28得票数 0
我只是试图登录到vrv，并从crunchyroll页面获得节目列表，以便我可以稍后打开网站，但当我登录后试图拿回解析的网站时。有许多信息丢失，如标题和图片，而且它不完整。这是我到目前为止所拥有的代码。很明显，我的邮箱和密码不是邮箱和密码，我只是把它们改成了贴在这里。= s.get('https://vrv.co/crunchyroll/browse')
exit(0)
浏览 0提问于2020-10-08得票数 0
我试图从的所有37个网页中抓取数据。这是为next按钮编写的HTML。data-use="/cms/svg/site/icon_caret_right.36.svg"> </svg>我知道这可以用Selenium来完成，但是有什么方法可以<e
浏览 4提问于2022-03-22得票数 0
回答已采纳
3回答
从特定网站创建URL列表
、、、
这是我第一次尝试用编程来做一些有用的事情，所以请容忍我。我们非常赞赏建设性的反馈:)
我正在努力建立一个数据库，其中包含欧洲议会的所有新闻稿。到目前为止，我已经构建了一个刮板，可以从一个特定的URL检索我想要的数据。但是，在阅读和查看了几个教程之后，我仍然不知道如何创建包含这个特定站点的所有新闻稿的URL列表。也许这与网站是如何建立的有关，或者我(可能)只是错过了一个有经验的程序会马上意识到的一些显
浏览 4提问于2017-10-16得票数 1
回答已采纳
3回答
我正在使用Selenium登录到网页，并获得网页进行抓取，我能够获得该页面。我已经在html中搜索了我想要抓取的表。table cellspacing="0" class=" tablehasmenu table hoverable sensors" id="table_devicesensortable">
脚本是这样的：rawpage=driver.page_source #storing the w
浏览 0提问于2018-02-21得票数 1
1回答
抓取oddsportal信息
、、、、
我使用的是Python3.5，实际上我关注的是使用BeautifulSoup/lxml/Selenium/PhantomJS进行3.5抓取
我只是想用Python代码抓取我需要的所有数据。我可以很容易地用BeautifulSoup从静态HTML中抓取信息。我最近也发现了如何从动态url中获取信息，使用Chrome的网络选项卡，并在XHR选项下查看出现<
浏览 2提问于2016-01-14得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
