文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

五、XPath实战：快速定位网页元素

分析网站本节我们来爬取豆瓣电影，在实战开始前，我们需要搞懂爬取的流程，在清楚爬取的步骤后，我们方可事半功倍导入需要的库分析获取网站URL获取HTML页面etree解析使用Xpath插件进行测试标签编写Xpath...start={}'.format(i) urls.append(url)获取每页URL中的影评URL接下来我们需要获取每页中影评的具体URL右击鼠标点击检查，我们就会看到具体的URL，为了测试Xpath...语法，我们需要打开Xpath插件（本文结尾我会奉上下载链接）不难分析此URL可以从，总的h2标签下的，a标签中的，href属性下手detail_urls = []for d_url in urls:...，原因如下，前面有一些无用的数据，需要清除获取评论者和评分commenter = html.xpath('//header/a/span/text()')[0]rank = html.xpath('//...提取数据返回结果是列表，后续操作需要使用列表操作总结Xpath的主要流程可以用下图表示Xpath插件链接：https://pan.baidu.com/s/1Pn3dmJgJADIUKcjsDs8cJw?

67480

xpath定位随机元素之starts-with的用法

相信有一部分朋友在做UI自动化的时候，会遇到有些元素，明明这次定位到之后，到时重新进入页面，里面的元素值就变样了。...下面我们来看看如何定位随机生成的元素~~ starts-with 如图，这个是我们公司的项目，在处理一个勾选框的时候，里面的id元素是随机生成的，我们可以使用xapth中提供的starts-with方法...//标签名[starts-with(@元素名, '元素值')] //div[1]/div/div[3]//li[starts-with(@id, "cascader-menu")][1] 我们可以看到...找元素内容从“cascader-menu”开始的元素 ends-with xpath中也提供了ends-with的方法，使用方法跟starts-with相同，它是以某字符串结尾的元素。...conatins //div[1]/div/div[3]//li[contains(@id, "cascader-menu")] [1] 使用xpath中的contains方法，也是可以的~大家可以根据需要结合使用

2.3K10
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    grep

    n 显示匹配到的行号 -c 统计匹配到的行数 -o 只显示匹配到的字符串 -q 静默模式 -A # 匹配后#行 -B # 匹配前#行 -C # 匹配前后各#行 -E 使用扩展正则表达式 grep...-e 'abc' -e 'def' FILENAME -P 使用Perl正则表达式 -e 多个选项间的或关系 -w 匹配整个单词 例 显示所有包含root的行 grep root /etc/passwd...图片 显示所有不包含root的行，参数-v，意思是取反 grep -v root /etc/passwd 图片 忽略字符大小，参数-i grep -i ROOT /etc/passwd 图片...显示匹配到的行号，参数-n grep -n root /etc/passwd 图片 显示匹配到的行数，参数-c grep -c root /etc/passwd 图片 包含root的行，...一共有两行 只显示匹配到的字符串，参数-o grep -o root /etc/passwd 图片 静默模式，参数-q grep -q root /etc/passwd 图片 包含不包含root

    1.1K10

    grep 命令详解_grep命令详解

    一:grep命令的基本概念和用途 grep命令是linux中一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。...grep也可以用于shell脚本，因为grep通过返回一个状态值来说明搜索的结果，如果模式搜索成功，则返回0；如果搜索不成功，则返回1；如果搜索的文件不存在，则返回2；我们利用这些返回值就可以进行一些自动化的文本处理工作...例 二：grep命令的命令格式 grep [option] pattern files 根据上面的命令格式，我们可以了解到grep命令主要有两个部分[option]和pattern，下面分别从这两个部分开始去了解熟悉...grep命令。...print:] 非控制字符 [:punct:] 标点字符 [:space:] 空格 [:upper:] 大写字母 “A-Z” [:xdigit:] 十六进制数字 “0-9 a-f A-F” 三：grep

    6.8K42

    web自动化02-常见元素定位（不含xpath和css）

    1、熟悉前端基础 代码和元素是一一对应关系，程序需要通过代码中的某些特征，获取目标元素并进行操作 标签名     key = value      元素的属性和属性值 2、浏览器开发者工具 目的：获取目标元素在页面内代码的相关信息的时候使用...XPath（通用） CSS（通用） ① 元素定位方法—id方法 　　id定位就是通过元素的id属性来定位元素，id必须是唯一的，前提：元素有id属性 　　当元素存在id属性时，优先使用id方法定位元素....send_keys("内容") ②元素定位方法—name方法 　　name定位就是根据元素name属性来定位，name的属性值是可以重复的，前提：元素有name属性 　　由于元素的name属性值可能存在重复...因此，定位元素时需要尽量保证使用的特征值能够代表目标元素在当前页面的唯一性 查看元素属性数量： 1、在代码区域使用快捷键 Ctrl + F 2、输入目标元素属性值           回车查看数量 ③...元素定位方法—class_name方法 　　class_name定位是根据元素class属性值来定位元素，class定义元素的样式 　　前提：元素有class属性 　　注意：如果class有多个属性值，

    54730

    unix grep命令_grep命令实例

    grep一般格式为： grep [选项]基本正则表达式[文件] 这里基本正则表达式可为字符串。 单引号双引号 在grep命令中输入字符串参数时，最好将其用双引号括起来。...“sort it” * 2、 行匹配 1)显示包含“4 8”字符串的文本： $ grep “48”data.f 2)输出匹配行的总数 $ grep -c “48”data.f 4 grep返回数字4...$grep “48” data.f 6)大小写敏感 缺省情况下，grep是大小写敏感的，如要查询大小写不敏感字符串，必须使用- i开关。...grep命令中，因为其输入信息来自于第一个grep命令的输出 4、匹配任意字符 如果抽取以K开头，以D结尾的所有代码，可使用下述方法，因为已知代码长度为5个字符： $ grep ‘K…D’ data.f...$ grep ‘^[a-z]\{1,6\}\.

    2.7K10

    XPath元素定位常用的5种方法（相对路径）

    一、XPath定位 定位 说明 //ul/* ul的所有子元素 //input[2] 第2个input元素 //input[last() 最后一个input元素 input[position()< 3]...=属性值]1、使用标签名+节点属性定位 2、组合元素索引（下标）定位 find_element_by_xpath("//*[@id='J_login_form']/*/*/input[2]") 3...二、XPath定位验证 1、验证XPath定位元素是否正确，可以在Google Chrome的elements或console中进行验证 在需要定位的页面，按F12后，切换至elements列下，按下Ctrl...+f键，输入XPath表达式 在需要定位的页面，按F12后，切换至console列下，输入表达式。...语法是：$x("your_xpath_selector") 2、表达式正确，元素定位正确时，会查找出该元素，如下图： 3、未定位准确，找不到该元素，查找结果为空，如图： 4、表达式不正确，无法正常识别情况

    13.9K31
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券