前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >selenium之等待页面(或者特定元素)加载完成

selenium之等待页面(或者特定元素)加载完成

作者头像
kirin
发布于 2021-03-18 03:22:44
发布于 2021-03-18 03:22:44
5.5K0
举报
文章被收录于专栏:Kirin博客Kirin博客

文章目录 需求: 1、显示等待(推荐) 2、隐式等待(也不错) 3、time.sleep(一般不推荐) 需求: 有时候,我们使用selenium用来获取一些元素时,需要等待页面将某些元素加载网站才能够获取我们需要的数据,所以,这时候我们就需要等待页面的功能。

1、显示等待(推荐) 显式等待是你在代码中定义等待一定条件发生后再进一步执行你的代码。 最糟糕的案例是使用time.sleep(),它将条件设置为等待一个确切的时间段。 这里有一些方便的方法让你只等待需要的时间。WebDriverWait结合ExpectedCondition 是实现的一种方式。需要的元素发现就会继续执行

from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome() driver.get(“https://www.baidu.com/”) try: element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.XPATH, ‘//*[@id=”su”]’)) ) text = driver.page_source print(“text”, text) finally: driver.quit() 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 2、隐式等待(也不错) 如果某些元素不是立即可用的,隐式等待是告诉WebDriver去等待一定的时间后去查找元素。 默认等待时间是0秒,一旦设置该值,隐式等待是设置该WebDriver的实例的生命周期。

from selenium import webdriver

driver = webdriver.Chrome() driver.implicitly_wait(10) # seconds driver.get(“https://www.baidu.com/”) myDynamicElement = driver.find_element_by_xpath(‘//*[@id=”su”]’) text = driver.page_source print(“text”, text) 1 2 3 4 5 6 7 8 3、time.sleep(一般不推荐) 就是使用time模块的time.sleep()设置等待时间(一般不推荐这个,时间要么多等才会获取到我们需要的数据元素)

from selenium import webdriver import time driver = webdriver.Chrome() # driver.implicitly_wait(10) # 这个单位是秒 driver.get(“https://www.baidu.com/”) time.sleep(2) text = driver.page_source print(“text”, text)

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021/03/16 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Selenium自动化测试-设置元素等待
使用sleep,需先导入time模块,import time, 然后使用time.sleep()来让程序等待多久。
可可的测试小栈
2019/11/14
1.9K0
Selenium常用的元素等待方法
日常的UI自动化测试,单步调试的时候元素可以定位到,并且可以正常操作,但是在跑测试案例流程的时候反而报错。这时就需要考虑是否界面的切换,或者功能的跳转缓慢导致元素未加载完成就执行了操作,所以我们需要加上元素等待。WebDriver提供了几种类型的等待:强制等待、显式等待和隐式等待。
Altumn
2019/10/21
1.8K0
四、请求库之selenium模块
一 介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏览器 from selenium import webdriver browser=webdriver.Chrome() browser=webdriver.Firefox() browser=webdriver.PhantomJS() b
用户1214487
2018/01/24
3K0
Python教程:selenium模块用法教程
selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题
Python学习者
2023/02/07
1.9K0
Selenium与PhantomJS
Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同是Selenium 可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。
小小杰啊
2022/12/21
1.2K0
Python Selenium 库使用技巧
Selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE,Mozilla Firefox,Safari,Google Chrome,Opera等。这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成 .Net、Java、Perl等不同语言的测试脚本。
王 瑞
2022/12/28
1.3K0
Python Selenium 库使用技巧
Selenium必须掌握的元素定位方法
Web端的UI自动化测试,目前使用比较多的就是Python+Selenium。当前一些UI自动化测试工具也是基于Selenium做开发的。 最近经常有童鞋后台询问selenium元素定位方法,其实网上学习资料很多,只要你肯动手,都可以搜的到。元素定位对于自动化测试来说是比较重要而且繁琐的一件事。接下来就来讲一下如何使用webdriver提供的基本元素定位方法。 再次声明:本站点已经和百度、必应、谷歌等各大搜索引擎达成长期的战略合作协议,你有任何疑问都可以通过以上公司提供的免费服务得到解答。
Altumn
2019/10/20
4.8K0
Python Selenium的使用(爬虫)
Selenium的使用 14 /10 周一阴 1 动态渲染页面爬取 对于访问Web时直接响应的数据(就是response内容可见),我们使用urllib、requests或Scrapy框架爬取。
Python知识大全
2020/02/13
3.5K0
Python Selenium的使用(爬虫)
自动化-Selenium 3-常用API(Python版)
ActionChains类提供的鼠标事件常用方法(perform()执行所有ActionChains中存储的行为):
wangmcn
2022/07/22
1.4K0
自动化-Selenium 3-常用API(Python版)
Python爬虫技术系列-04Selenium库的使用
针对119.0.x的版本驱动需要在 https://googlechromelabs.github.io/chrome-for-testing/ 中下载
IT从业者张某某
2023/11/07
1.3K0
Python爬虫技术系列-04Selenium库的使用
厌倦了逆向,还是总结下 selenium 吧。
driver.switch_to.frame(通过find_element_by函数定位的frame、iframe标签对象)
咸鱼学Python
2020/07/15
1.4K0
python学习ui自动化三种等待方式
''' 三种等待 1,强制等待 time.sleep(等待时间),一般用在跳转中,知道明显的时间 2,隐式等待 driver.implicitly_wait(等待时间),控制整个网页,等待网页加载完成,规定时间没有加载完成,继续执行下一步,一个网页只需加一个即可,放在所有的请求之前 3,显式等待 WebDriverWait(driver,等待时间,多长时间刷新一次,默认0.5s),该等待中有两个方法 until(元素位置,需要传一个元祖,元祖中有两个值,一个是定位位置方式,一个是定位的元素), until_
吾爱乐享
2020/03/09
1K0
Python爬虫——Selenium
安装chromium 官方下载地址是http://chromedriver.chromium.org/downloads,注意需要和本地安装的Chrome浏览器版本相匹配。如当前ChoreDriver2.42支持的Chrome版本是v68到v70
羊羽shine
2019/05/29
9110
用Selenium来爬取数据?真挺简单的!
于是Selenium就应运而生了,它可以算的上是自动化测试框架中的佼佼者,因为它解决了大多数用来爬取页面的模块的一个永远的痛,那就是Ajax异步加载 。今天将给大家详解如何用Selenium爬取数据,并最后附上一个真实的案例。
快学Python
2021/08/09
4.8K0
爬虫杀手锏-PhantomJS(附案列网站模拟登录豆瓣网)
Selenium: 可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生。Selenium 自己不带浏览器,不支持浏览器的功能,它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行,所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。
一墨编程学习
2018/12/14
1.4K0
《手把手教你》系列练习篇之9-python+ selenium自动化测试 -番外篇 - 最后一波
本来上一篇就是练习篇的最后一篇文章了,但是有的小伙伴私下反映说是做了那么多练习,没有一个比较综合的demo练练手。因此宏哥在这里又补存了一些常见的知识点进行练习,在文章最后也通过实例给小伙伴们或者童鞋们进行了一个登录模块的自动化测试的实例,其他的你可以照猫画虎地轻松的搞定和实现。
北京-宏哥
2019/12/12
1.5K0
Python爬虫利器Selenium从入门到进阶
selenium是最广泛使用的开源Web UI自动化测试套件之一,它所支持的语言包括C++、Java、Perl、PHP、Python和Ruby,在数据抓取方面也是一把利器,能够解决大部分网页的反爬措施,当然它也并非是万能的,一个比较明显的一点就在于是它速度比较慢,如果每天数据采集的量并不是很高,倒是可以使用这个框架。
用户6888863
2021/12/10
1.8K0
Python爬虫利器Selenium从入门到进阶
selenium使用
请注意,本文编写于 1727 天前,最后修改于 996 天前,其中某些信息可能已经过时。
曼亚灿
2023/05/17
1.5K0
selenium使用
爬虫篇 | 快速入门selenium(十一)
Selenium是一个用于web自动化测试的工具,Selenium测试直接运行在浏览器中,就好像一个真正的用户在操作一样。
润森
2019/08/29
1.9K0
爬虫篇 | 快速入门selenium(十一)
Python:Selenium中三种等待方法说明
强制等待:不管浏览器元素是否加载完成,程序都得等待3秒,3秒一到,继续执行下面的代码。
Python学习者
2023/06/18
6770
相关推荐
Selenium自动化测试-设置元素等待
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档