首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >Python+selenium模拟登录拉勾网爬取招聘信息

Python+selenium模拟登录拉勾网爬取招聘信息

作者头像
Python小屋屋主
发布2022-03-07 17:33:49
发布2022-03-07 17:33:49
2.4K0
举报
文章被收录于专栏:Python小屋Python小屋

任务描述:

使用Python+selenium编写网络爬虫程序,模拟登录拉勾网招聘网站,爬取与Python相关的岗位信息,生成Excel文件。

详细步骤:

1、使用pip安装扩展库selenium、openpyxl。详见:Python扩展库安装与常见问题解决完整指南

2、下载Chrome浏览器驱动程序,详见:1)Python+selenium操控Chrome浏览器实现百度搜索自动化;2)Python+selenium+PhantomJS获取百度搜索结果真实链接地址;3)Python爬虫系列:使用selenium+Edge查询指定城市天气情况;4)Python借助百度搜索引擎爬取Python小屋密切相关文章

3、了解selenium定位页面元素的方式和其他相关知识,详见:一文学会Python爬虫框架scrapy的XPath和CSS选择器语法与应用

4、分析拉勾网登录页面,定位输入账号、密码的文本框和登录按钮,以及同意“用户协议”和“隐私政策”的复选框。

5、分析拉勾网搜索页面源代码,定位岗位信息。由于网页源代码较多,且新版浏览器不能换行,可以复制到记事本文件里方便分析,

6、准备一个文本文件“拉勾网账号密码.txt”,里面放入自己的账号和密码,使用中文全角分号分隔。

7、编写程序。

8、运行程序。

程序启动浏览器打开登录页面并输入账号、密码和自动同意用户协议/隐私政策之后,手动单击按钮“登录”,弹出验证界面,单击适当的图片,在30秒内完成验证,然后继续运行程序。

爬取数据过程中浏览器界面截图:

运行过程中IDLE环境输出:

9、运行结果,生成Excel文件:

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-01-29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Python小屋 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档