使用selenium抓取链接(Href)时出现问题；href="#“
使用selenium抓取链接(Href)时出现问题，可能是由于以下几个原因导致的：
- 页面加载问题：selenium在抓取链接时需要等待页面完全加载完成，如果页面加载速度较慢或存在异步加载的内容，可能会导致抓取链接失败。可以尝试使用selenium的等待方法，如显式等待或隐式等待，来确保页面加载完成后再进行链接抓取操作。
- 元素定位问题：抓取链接需要先定位到包含链接的元素，然后获取该元素的href属性值。如果元素定位不准确或定位到的元素不包含href属性，就无法正确获取链接。可以使用selenium提供的各种元素定位方法，如通过id、class、xpath等来定位到正确的元素。
- 链接属性问题：有些网页中的链接可能是通过JavaScript动态生成的，而selenium默认只能获取静态页面中的链接。如果遇到这种情况，可以尝试使用selenium的execute_script方法执行JavaScript代码，来获取动态生成的链接。
- 链接跳转问题：有些链接可能是通过JavaScript实现的跳转，而selenium默认只会获取当前页面的链接。如果需要获取跳转后的链接，可以使用selenium的get方法来模拟点击链接并跳转到目标页面，然后再获取链接。
综上所述，解决使用selenium抓取链接时出现问题的方法包括等待页面加载完成、准确定位元素、处理动态生成的链接、模拟点击跳转等。具体的实现方式可以根据具体情况进行调整和优化。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云官网：https://cloud.tencent.com/
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云数据库MySQL版：https://cloud.tencent.com/product/cdb_mysql
- 腾讯云云原生容器服务：https://cloud.tencent.com/product/tke
- 腾讯云CDN加速：https://cloud.tencent.com/product/cdn
- 腾讯云人工智能：https://cloud.tencent.com/product/ai
- 腾讯云物联网平台：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发：https://cloud.tencent.com/product/mobile
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云区块链服务：https://cloud.tencent.com/product/baas
- 腾讯云虚拟专用网络（VPC）：https://cloud.tencent.com/product/vpc
相关·内容
我是一个使用python的业余爱好者，我正在尝试使用selenium从下面的html中抓取url。<a class="" href="#" style="text-decoration: none; color: #1b1b1b;" onclick="toDetailOrUrl(event, '1641438','')">[안내] 빗썸 - 빗썸 글로벌 간 간편 가상자산
浏览 67提问于2021-01-06得票数 0
我正在尝试使用selenium(使用webdriver/selenium进行验收测试)来测试我的应用程序，并且希望能够在执行操作后获取链接的值。基本上，我希望退出系统，然后单击链接，所以我需要将url存储在变量中，以便在注销操作之后使用。这是一种类似于CMS的操作：
获取链接的href值。
浏览 4提问于2014-03-21得票数 1
回答已采纳
1回答
我试图刮特定的href链接，但我只能抓取没有链接或每个链接可能在网站上，它有可能抓取每个链接，是在一个div标签？div标记具有相同的确切名称，但我无法找到在div标记中查找的方法，然后获取href标记from selenium.webdriver.common.by import By
浏览 6提问于2022-09-14得票数 0
2回答
抓取href链接
、、、
尝试用正确的关键字收集此页面上的特定链接，到目前为止我有：import randomraw = soup.findAll('a', {'class':'add_to_compare'})
links = raw['href
浏览 5提问于2017-01-14得票数 3
回答已采纳
是否可以为所有可能的链接添加一个单击链接事件或一个新选项卡，这样我就可以通过抓取包含视图线程的所有链接将URL用作筛选器来筛选论坛，但是当我试图让它点击它时，没有错误，可以有人向我解释它，因为我对web抓取非常陌生。from selenium import webdriver from selenium.webdri
浏览 10提问于2022-09-15得票数 0
回答已采纳
2回答
我正在抓取这个页面(“”)。我存储有效的urls并请求重定向到下一页，并为每个有效的urls刮掉下一页的数据。当您打算调用find()时，您调用了find_all()吗？
浏览 0提问于2018-08-29得票数 0
回答已采纳
siteid=5012&PageType=searchResults&SearchType=linkquery&LinkID=6017#keyWordSearch=&locationSearch= 我想要抓取每个工作角色的链接，其中一个角色的HTML源是： <a id="Job_1" href="https://jobs.ubs.com/TGnewUI/Search/home/HomeWithPreLoad?IB
浏览 16提问于2021-01-17得票数 0
回答已采纳
1回答
我试图获取每个节点的链接的urls，但是list只是空值。www.beeradvocate.com/lists/top/")
html_nodes(".hr_bottom_light a b") %>%
html_attr('href
浏览 2提问于2017-04-17得票数 1
回答已采纳
4回答
通过selenium单击链接
、、、、
我正在尝试通过Selenium做一些网络抓取。我的问题很简单:如何找到一个链接，然后如何点击它？例如:以下是我试图从web上抓取的HTML： <a href="javascript:selectDodasaDetdasdasy(220011643,'Kdasdası');" target="_self"> </a
浏览 40提问于2013-09-04得票数 37
回答已采纳
2回答
下面的代码抓取了LinkedIn上用户的姓名、公司和位置。代码需要LinkedIn的登录凭据，如果您对此持怀疑态度，可以使用假帐户。import time
from selenium.webdriver.chrome.options import Options
from
浏览 0提问于2020-11-18得票数 0
1回答
我的目标是抓取base_url站点上的href链接。我的代码：from selenium import webdriverfor game in table.find_all("a", {'game_id': re.compile('\
浏览 4提问于2017-08-22得票数 0
回答已采纳
1回答
搜索pdf链接从各地的网站
、、、、
我想搜索一个网站，寻找所有的pdf链接。我知道BeautifulSoup有几种使用标签查找pdf文件的解决方案，但我想使用基本url搜索整个域，而不仅仅是链接的页面。我的想法是a)首先搜索整个网站的所有子链接，然后b)过滤掉有.pdf扩展名的链接。['href']) if readable_website_name not in link.get('href') and len(
浏览 11提问于2021-07-02得票数 0
2回答
我正在使用python和selenium进行web抓取。 我正在试着从事实上抓取数据。目标是找到过去24小时内发布的所有工作，并刮刮外部链接，这是在工作详细信息页面上与链接文本“申请公司网站”，标题，公司，名称，位置，工作描述。我写了以下代码，但是它正确地获取了页面上的所有链接，然后当我试图打开每个链接时，它只打开了第一个链接。我怎样才能打开我一个接一个的链接。提前感谢，下面是我的
浏览 33提问于2020-07-15得票数 1
回答已采纳
我正在做一个web抓取，我可以在一个特定的链接中获取信息，但是我想通过进入该页面上的每个项目的链接并获取信息，然后返回到主页，然后单击下面的项目的链接来实现过程的自动化。然后移回主页，单击以下项目的链接。我使用这段代码获取所有项目的链接，但随后无法确定如何单击每个链接中的“查看所有评论”，然后移回主页：driver.get(noi=48')
x = [my_el
浏览 4提问于2020-12-27得票数 0
回答已采纳
1回答
我必须从中选择每个州，然后单击球队排名，然后我必须抓取每个排名球队的href链接。我已经完成了直到球队排名部分现在我想从所有的网页在分页栏中获得每个排名球队的链接，现在我正在获取所有球队的链接只在第一页可用，我不知道如何导航到下一页。=True) domain = site + a['href'] #domain consist oflinks of states
for= BeautifulSoup(
浏览 0提问于2019-09-30得票数 0
我试图循环通过两套链接。从开始，单击每个季节链接(最后5个赛季)，然后单击每个赛季链接中的每个锦标赛链接，并从每个锦标赛中刮取比赛数据。使用下面的代码，我成功地得到了我想要的赛季链接列表，但是当我尝试抓取锦标赛链接并将它们放到列表中时，它只是得到最后一个赛季的联赛链接，而不是每个赛季的链接。我想这与driver.get有关，在下一行代码工作之前就完成了，我需要使用索引循环/
浏览 6提问于2020-03-29得票数 0
回答已采纳
有谁能确切地解释一下，是否有一种方法可以使用从这个网页BeautifulSoup中抓取链接，还是只能使用Selenium？bs.find_all('a') # only obtains 23 links, when there are actually loads more. if 'href' in link.attrs:
print(link.attrs['hre
浏览 8提问于2022-03-31得票数 0
2回答
基本上，我想选择链接下划线的html是提供在图片中，并导航到它的内部获得信息 ? 我该怎么做呢？ 谢谢
浏览 31提问于2020-09-25得票数 1
回答已采纳
我尝试用Selenium和BeautifulSoup4抓取动态加载的href属性。 当我查看-source网站时，href属性是空的，但当我单击inspect元素时，href属性将有一个链接。意味着href属性是动态加载的。如何提取该链接？=True) print('No Links Found')
print
浏览 42提问于2020-08-09得票数 0
回答已采纳
我在python中使用selenium进行一些网络抓取，我想在这里获得链接。，而不是第二个无序列表中提到的其他链接。由于我有一个以summary开头的id的长列表，所以我做了这个代码，但是在引用它时，我只得到文本而不是链接，您还有其他建议吗？href = atag.get_attribute('href') driver.execute_scr
浏览 0提问于2021-02-03得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
