Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >“互联网寒冬”,来分析一下爬取的 BOSS 直聘数据。

“互联网寒冬”,来分析一下爬取的 BOSS 直聘数据。

作者头像
小小詹同学
发布于 2019-11-12 16:02:04
发布于 2019-11-12 16:02:04
6500
举报
文章被收录于专栏:小詹同学小詹同学

临近年末,“互联网寒冬”的来临让大家倍感压力,大家纷纷感叹寒冬将至。但是,越是这个时候,越要明确自己的奋斗目标,不断的充实自己,提高自己的能力,为找工作打下坚实的基础。

本次我们爬取了招聘网站上关于计算机视觉方向的招聘信息,并对于招聘信息进行分析,看一下目前计算机视觉方向对于应聘者的需求如何。

首先招聘信息的爬取采用的是selenium 库,对boss 直聘招聘网站进行爬取,因为网站对于反爬的验证码比较复杂,即便是利用tesserocr 来对这种验证码识别的也很难将其识别准确,因此直接采用selenium库,对于网页信息进行爬取。对于验证码仍需要人工来进行识别并进行操作。但是由于爬取的过程中,对网页进行了模拟浏览过程,因此几乎不会产生反爬环节。

对于招聘信息的提取首先是打开我们所要查询的招聘方向的链接,这里我们查询的是计算机视觉方向(自己更改所需即可),然后针对每一页上的每一个招聘链接,在新的网页进行打开,然后爬取其网页信息。整体的运行效果图如下动图所示。

对于每一个招聘链接,利用BeautifulSoup进行网页信息的提取,并将其保存到csv文件当中,具体代码如下图所示。

完整代码获取见文末

这里我们爬取了招聘信息中,对于应聘者的学历、经验的要求,以及招聘者提出的工作要求和薪金待遇以及工作地点。将爬取后的信息保存为csv文件放到根文件夹下,至此爬取招聘信息的工作便完成。爬取的信息如下如所示。

首先,我们想观察一下目前招聘者对于应聘者的工作要求,因此为了更加直观的展示工作要求,我们采用词云的形式,对于工作要求中的关键词进行展示。

采用词云的优势在于:第一,展示起来比较美观,第二是出现频率越高的关键词,其字体也越大,因此更能直观的进行展示。

对于爬取得到的信息,利用pandas进行读取,然后将“工作要求”一项进行提取后,采用jieba进行分析,并结合WordCloud库进行展示,得到的结果如下如所示。

由词云我们可以看出,目前计算机视觉领域深度学习技术是最杯招聘者所看重的一项技能,因此它的出现频率也是最高的。其次对于机器学习图像处理技术也要进行掌握,并能达到熟练掌握的程度。如果有小伙伴想要进军计算机视觉领域的话,那么上述的词云所体现的信息,将会对你有很大的帮助,在处理完“工作需求之后”,我们还对大家普遍关心的“工资”水平和“经验”要求进行了分析。

由于招聘者对于工资都是提供一个大概的范围,因此,这里我们采取招聘者提供的平均工资来作为我们的“工资”数据,根据平均工资的最大值跟最小值将工资分为五类,可视化数据如下图所示。

由工资图可以看出,目前计算机视觉领域的工资水平大都集中在20K到30K之间,还是一个相当不错的工资水平。

对于经验的分析,我们也进行了分析,如下图所示。

由上图可以看出,招聘者对于应聘者的经验还是十分看重的,因此如果小伙伴是在校生的话,还是抓住机会出去实习,增长自己的经验吧。

我爱小詹

/ 今日互动 /

留言主题 : 互联网寒冬你打算如何提高自己?

留言格式 —— Day xx : blablabla ;这里强调下 ,不符合主题和格式的打卡不移入精选,打卡无效噢 !兑换的时候会核实打卡情况 ,断打卡的记得从 Day.01 开始 ~

完整代码和爬取结果 csv 文件在后台回复关键词 boss 即可,点击原文也可直达~

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-01-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 小詹学Python 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
boss直聘网数据分析项目
这次准备爬取boss直聘网的招聘信息,然后分析互联网发展排名前十的城市在互联网方面职位的薪水,学历要求,经验要求,等等信息。 准备从以下几个方面进行分析:
润森
2022/12/20
1.1K0
boss直聘网数据分析项目
新手向-爬取分析拉勾网招聘信息
然后在拉勾网搜索关键词 算法工程师 回车,然后点击下一页、下一页,此时开发者工具里的Network 下XHR(表示该网站是以Ajax方式获取刷新信息的)应当如下图(图中已标明了一些关键信息):
爱写bug
2019/07/05
6600
新手向-爬取分析拉勾网招聘信息
爬 Boss 直聘,分析 Python 工作现状
要说在当今的编程圈,找10位程序猿询问下当前世界上最好的语言是哪个,那必须是 PHP(强迫症)!但是如果你询问当今最火爆的语言是哪个,那么80%的小伙伴儿会毫不犹豫的告诉你,是 Python!
周萝卜
2020/05/22
1.4K1
「爬虫职海录」三镇爬虫
本栏目的内容方向会以爬虫相关的“岗位分析”和“职场访谈”为主,方便大家了解一下当下的市场行情。
K哥爬虫
2024/03/02
1690
「爬虫职海录」三镇爬虫
听说数据分析师挺火,我们来数据分析一下
经常看见各种数据分析师培训的运营推荐,那么数据分析师的就业行情究竟如何?让我们用数据说话,一探究竟!
luanhz
2020/04/01
5860
用Scrapy精准爬取BOSS直聘特定行业职位
BOSS直聘作为国内领先的招聘平台,拥有海量的职位信息,对于求职者、招聘者以及行业分析师来说,这些数据具有极高的价值。本文将详细介绍如何使用Scrapy框架精准爬取BOSS直聘上特定行业的职位信息,并在爬虫中集成代理服务器以提高爬取的稳定性和安全性。
小白学大数据
2025/01/10
3110
用Scrapy精准爬取BOSS直聘特定行业职位
利用 Python 爬取了 13966 条运维招聘信息,我得出了哪些结论?
我经常会收到读者关于一系列咨询运维方面的事情,比如:杰哥,运维到底是做什么的呀?运维的薪资水平/ 待遇怎么样呢?杰哥帮忙看下这个岗位的招聘需要对于小白来说,能否胜任的了呢?等等。
杰哥的IT之旅
2020/07/14
3580
利用 Python 爬取了 13966 条运维招聘信息,我得出了哪些结论?
【一行分析】利用12000条招聘数据分析Python学习方向和就业方向
选择大于努力,已经成为一个无可否认的事实。就像当年高几十分考上985生物专业的同学和考上211计算机专业的同学,毕业的薪资出现明显的反差;又或者同是生物专业,一位考雅思出国读硕士和一位自学python转行的同学,两年后的薪资也具有明显的反差(有些专业不见得出国回来就能够有很大差距)。
行哥玩Python
2020/07/14
5960
【一行分析】利用12000条招聘数据分析Python学习方向和就业方向
用Scrapy精准爬取BOSS直聘特定行业职位
BOSS直聘作为国内领先的招聘平台,拥有海量的职位信息,对于求职者、招聘者以及行业分析师来说,这些数据具有极高的价值。本文将详细介绍如何使用Scrapy框架精准爬取BOSS直聘上特定行业的职位信息,并在爬虫中集成代理服务器以提高爬取的稳定性和安全性。
小白学大数据
2025/01/09
1510
写个爬虫,爬取 Boss 直聘全部前端岗位
爬取数据我们使用 Puppeteer 来做,然后用 TypeORM 把爬到的数据存到 mysql 表里。
神说要有光zxg
2024/05/10
1.2K0
写个爬虫,爬取 Boss 直聘全部前端岗位
用Python分析BOSS直聘的薪资数据,年后找工作有方向了!
数据来源于BOSS直聘,说实话,现在的招聘网站,做的比较好的还是BOSS直聘,其相关的数据、报告等都是比较有代表性的。今天我们就来看看相关的数据吧!
周萝卜
2021/02/25
5350
用Python分析BOSS直聘的薪资数据,年后找工作有方向了!
“数据分析”岗位的数据分析项目
“数据分析”岗位的分析 项目介绍 该项目选用了和鲸社区关于数据分析岗位的数据集来进行分析。项目主要使用“job.csv”文件作为数据源,其中数据文件的主要栏位有职位、城市、公司、薪资、学历、工作经验、行业标签。其中本项目所使用的可计算的栏位为最低薪资、最高薪资、平均薪资、奖金率。本项目所使用的可分类的栏位为职位、城市、学历、工作经验、行业标签。通过对数据进行清洗重塑和分析,再使用plotly等工具进行绘图,实现图表的交互式数据可视化,最后使用flask框架(利用了bootstrap)进行网页上的可视化展示
润森
2022/12/20
9710
“数据分析”岗位的数据分析项目
为什么Java程序员的薪资一直居高不下?
众所周知,随着科技发展,国家政策的支持,IT行业可谓是目前最火、也是众多行业中薪资待遇最好的行业,其相关工作人员的基本薪资也使得许多传统行业望尘莫及。
java架构师
2018/10/08
5340
为什么Java程序员的薪资一直居高不下?
Day01-数据分析图鉴
最近流传一句话,不会数据分析的程序员,不是好程序员。 其实,不仅仅程序员,无论你未来准备从事什么职业:产品、运营、销售、HR、财务、金融、电商,还是做研发、系统架构,你都会发现,在数不清的岗位需求中,公司对数据分析的能力要求越来越普遍! 有人说,毕业生学数据分析很占优势,因为学得快 有人说,毕业生没有工作经验是优势,可以直接上岗… 有人说,数据分析行业前景好,薪资高,是工作的好选择… 有人说,学数据分析永不过时… 但!数据分析到底是什么?离我们远吗 恰恰相反,数据正在变得越来越常见,小到我们每个人的社交网络、消费信息、运动轨迹,大到企业的销售、运营数据,产品的生产数据,再看看我们每天在做的事情,上知乎、上微博、逛淘宝,上Google,所有的地方都是高度需要数据分析 数据分析当然重要,一般单位还是用excel表格在统计数据 而数据分析,就是就是将数据的价值最大化 借助数据来做决策,而不是盲目地拍脑袋
用户2225445
2023/10/16
2350
Day01-数据分析图鉴
Python爬虫:爬取拉勾网职位并分析
本文从拉勾网爬取深圳市数据分析的职位信息,并以CSV格式保存至电脑,之后进行数据清洗,生成词云,进行描述统计和回归分析,最终得出结论。
数据科学社区
2018/07/30
1.6K0
Python爬虫:爬取拉勾网职位并分析
找工作必看,数据分析岗位信息爬取并可视化分析
本次爬虫难度不大,属于入门级别的,只要懂得requests请求,BeautifulSoup解析即可轻松上手,下面是本次爬虫的主要代码。
数据STUDIO
2021/06/24
8790
互联网企业裁员潮背后的就业危机与机遇-采集招聘信息
近年来,随着经济增速放缓、互联网流量见顶、资本寒冬等因素的影响,许多知名的互联网公司都进行了组织结构调整和人员优化,以降低成本和提高效率。据智联招聘统计,有43.4%的被裁员者表示原因是“企业生产经营状况发生困难”,有37%的被裁员者表示原因是“企业进行组织结构调整”。受到裁员影响最大的岗位是前端开发、软件测试和UI设计等职能较为单一且容易被替代的岗位。其他受到疫情影响较大的领域包括旅游、餐饮、零售、媒体等。 全球范围内,IT行业都面临着就业形势严峻和竞争激烈的局面。一方面,由于市场需求下降和技术变革加速,导致了部分岗位被淘汰或缩减;另一方面,由于IT行业门槛相对较低和薪资水平相对较高,吸引了大量的求职者涌入或转行进入该行业。这就造成了供需失衡和人才结构失衡的问题。 对于求职者来说,在这样一个充满挑战和机遇的时代里,如何提升自己的核心竞争力和适应能力成为了关键。在当今的互联网时代,找工作不再局限于传统的招聘网站或者人才市场,而是有了更多的选择和渠道。其中,领英、boss直聘和猎聘网是三个比较受欢迎且有效果的招聘平台 。 那么如何快速通过这三个平台找到适合自己并符合市场需求的工作岗位呢:
jackcode
2023/03/16
4340
互联网企业裁员潮背后的就业危机与机遇-采集招聘信息
AI超金融成薪资最高行业,程序员如何转型?
长期以来,金融业的平均工资水平一直排在全国首位,但 2016 年却悄然发生了变化。
AI科技大本营
2018/09/28
4450
AI超金融成薪资最高行业,程序员如何转型?
数据分析师还是算法工程师|用数据多角度解读如何选择
疫情即将散去,又到了求职季。学习Python的各位该如何选择自己的职业方向,算法工程师还是数据分析师?跟随本文一起看看吧!
刘早起
2020/04/22
1.3K0
数据分析师最不能错过的数据是什么?
作为一名数据分析师最不能错过的数据是什么?当然是和每一位数据分析师息息相关的,决定大家是吃土还是吃面包的招聘数据。
1480
2019/05/21
6170
推荐阅读
相关推荐
boss直聘网数据分析项目
更多 >
领券
💥开发者 MCP广场重磅上线!
精选全网热门MCP server,让你的AI更好用 🚀
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档