这次准备爬取boss直聘网的招聘信息,然后分析互联网发展排名前十的城市在互联网方面职位的薪水,学历要求,经验要求,等等信息。 准备从以下几个方面进行分析:
(1)各个城市的平均工资
(2)各个学历的平均工资
(3)各个岗位的平均工资
(4)不同工作经验要求的工资
(5)各个经验段要求的占比
(6)学历要求占比
(7)知名大厂的平均工资待遇
(8)知名大厂的招聘数量
【1】爬取数据 首先使用python(使用resquest库,beautifulsoup3库)爬取了boss直聘网上的数据,我们根据城市和岗位名称作为关键字进行搜索,然后爬取了近3w条数据,包括岗位名称,岗位的薪水,招聘公司,公司的标签,学历要求,工作经验要求,公司所在城市。
【2】数据清洗
首先,需要根据岗位名称,将实习的岗位去掉,因为实习的岗位工资可能较低,并且可能工资是按天结算,会影响最后的统计结果。所以我们将岗位名称中带有实习的岗位从数据中去掉了。
我们将数据库中的数据,读取出来写如csv文件,用pandas库进行数据分析。然后用pyecharts进行图像的绘制 (1)各大城市互联网行业薪资水平
我计算了以上几个城市的最低平均工资,最高平均工资,和平均工资。 统计发现,北京,上海,杭州,深圳的互联网工资水平最高。除北京工资最高之外,没想到的是杭州竟然能超过上海,达到第二高的水平。 苏州,虽然说互联网行业发达,可能由于物价较低的缘故,工资水平没有很高。 (2)互联网行业各岗位工资统计
(3)各个学历的平均工资
统计发现 专科,本科到硕士的工资水平逐步升高,但是如果博士可以毕业,工资水平直线猛增,基本能达到4w的月薪左右,从本科到硕士的提升也比较明显,所以有能力的人还是继续深造为好。
(4)不同工作经验要求的工资
应届生的工资水平还是比较低的,如果能有,随着工作经验的升高,尤其是工作五年以上的,工资水平将会直线上升,但是应届生和1年之内工作经验的学生,差距不大。 (5)各个经验段要求的占比
我们发现,1-3年工作经验的要求人数最多。应届生的要求比例较少,可能招聘网上,校招的岗位较少吧。5-10年的工作经验的人还是比较少的,互联网行业1-5年工作经验的人还是占大多数的。 (6)学历要求占比
在我看来,学历要求占比,可能在某种程度上反应了,当前社会上的学历占比,我们发现本科生还是占大多数的,所以本科毕业就就业的压力还是很大的,更体现了,如果有能力读研还是要继续深造的好,毕竟硕士只有百分之10的占比。 博士作为稀缺人才,需求还是很大的。 (7)知名大厂的平均工资待遇
我们发现,华为的薪资待遇尽然是最高的,而百度由于近几年发展缓慢,甚至倒退,工资水平竟然达到了最低,这个工资水平可能和城市有关,而且也不能说明未来的提升空间,所以可能没有什么价值。 (8)知名大厂的招聘数量以及比例