
任务描述:
使用Python+selenium编写网络爬虫程序,模拟登录拉勾网招聘网站,爬取与Python相关的岗位信息,生成Excel文件。
详细步骤:
1、使用pip安装扩展库selenium、openpyxl。详见:Python扩展库安装与常见问题解决完整指南
2、下载Chrome浏览器驱动程序,详见:1)Python+selenium操控Chrome浏览器实现百度搜索自动化;2)Python+selenium+PhantomJS获取百度搜索结果真实链接地址;3)Python爬虫系列:使用selenium+Edge查询指定城市天气情况;4)Python借助百度搜索引擎爬取Python小屋密切相关文章
3、了解selenium定位页面元素的方式和其他相关知识,详见:一文学会Python爬虫框架scrapy的XPath和CSS选择器语法与应用
4、分析拉勾网登录页面,定位输入账号、密码的文本框和登录按钮,以及同意“用户协议”和“隐私政策”的复选框。



5、分析拉勾网搜索页面源代码,定位岗位信息。由于网页源代码较多,且新版浏览器不能换行,可以复制到记事本文件里方便分析,

6、准备一个文本文件“拉勾网账号密码.txt”,里面放入自己的账号和密码,使用中文全角分号分隔。
7、编写程序。

8、运行程序。
程序启动浏览器打开登录页面并输入账号、密码和自动同意用户协议/隐私政策之后,手动单击按钮“登录”,弹出验证界面,单击适当的图片,在30秒内完成验证,然后继续运行程序。

爬取数据过程中浏览器界面截图:

运行过程中IDLE环境输出:

9、运行结果,生成Excel文件:
