为了能让大家真的入门Python语言，所以猪哥也会坚持系列文章原创！ 本篇文章用于总结近一个多月以来更新的爬虫文章，目前已写12篇文章，收到了很多大家的建议及意见，猪哥也将继续坚持的更新下去！...第二章、爬取数据 Python爬虫的起点-requests库? 充气娃娃什么感觉？Python告诉你-爬取京东评价?...实践 ---- 猪哥花了很多心思去认认真真写这些文章，基本每篇教程都写的很详细，就是为了同学们在实践的时候顺利些！ 想学习编程没有捷径，就是多练习。 想学习编程没有捷径，就是多练习。...猪哥在自学编程的时候给自己定的目标就是：要么20遍，要么每日2千行代码！ 做人总要逼一把自己，不然不会知道自己的上限有多高！...分享到朋友圈就是最大的支持
经历长达近一个月的资源筛选过程终于结束，总共1.5T百度网盘的资源经过：去重、筛选、整理、归档之后一份粗略的Python学习曲线资源已经成型，虽然中间经历了很多坎坷，不过最终还是完成。...猪哥也是第一时间与大家分享出来。 资料主要分为两部分：一、各个学习网站论坛等，二、百度云资料。...一、网站论坛学习资源 名称 链接 说明 实验楼 https://www.shiyanlou.com 提供免费的Linux实验环境 Py资源中文大全 http://t.cn/Rq0C0ET 各种python...这个学习曲线是我在某马论坛上看到的，觉得不错就推荐给大家，同时也感谢某马的开源免费精神，猪哥也是受益颇多！...这是猪哥推荐的Python学习曲线，基本上是某马的视频教程，这个学习曲线从零基础开始： ?
我更喜欢的是用一个个鲜活有趣的例子先让大家尝鲜，即使你不懂代码的含义，但是你用着用着就会了，会了之后自己就会想去了解更多，所以猪哥提倡的更是一种引导的方式，而不是教导。...二.第三章讲什么 上一章节我们用十来个具体的实战案例讲解了如何使用requests库的爬取，猪哥再强调一遍：requests库 实战非常非常重要，是学习爬虫的实际起步或者说入门的一个库，希望大家已经掌握了...解析库的内容： ? 三.解析库 1.征集案例 老粉们看我的文章应该也有一段时间，猪哥的写作风格基本就是：严谨、有趣还有风骚，其实写文章和敲代码并不需要太多的时间，最费时和精力的是去思考实战案例。...猪哥认为这种文章对新手不够友好，所以没有采纳，还望大家见谅，希望大家能继续支持。 写作对大家技术的成长绝对有帮助，希望有更多的同学投入到写作当中！...纯数据接口解析起来也会比网页要简单很多，所以猪哥建议我们在爬取数据的时候优先考虑是否有纯数据接口。
Python语言相比其他语言的优势在哪里？猪哥认为是数据分析和人工智能这两大块，而且这两个方向需求会慢慢增大，所以那些想学习Python却不知道要朝着哪个目标学习的同学可以考虑往这两个方向发展！...如果你不知道怎么选，那猪哥给你推荐：pyecharts 这个由中国人开发的可视化库，想要什么类型的图在下面文档里面找就行。...十几行代码就搞定了，我们来看看效果图吧 分析结论： 从整体看商家取名偏爱情趣二字 从材质看尿酸的最多 从功能看颗粒、螺纹的较多 ps：别问猪哥最中意哪个词，问就是延时。...前三甲是：情趣、尿酸、颗粒 ps：猪哥有个疑问想请教各位老司机：这个 免洗 是咋玩的？...数据分析作为一把利刃，能让你看见别人看不见的事物，如果使用得当完全可以作为你创业的一个重要支点！ 最后猪哥再送你一句忠告：想学数据分析，一定要学好pandas！！！
作者 | 猪哥66 来源 | 裸睡的猪（ID:IT--Pig） 最近想爬取淘宝的一些商品，但是发现如果要使用搜索等一些功能时基本都需要登录，所以就想出一篇模拟登录淘宝的文章！ ?...我们就先来讲讲淘宝登录的流程，先把流程原理搞懂，再去敲代码，这样大家就容易理解！ 一、淘宝登录流程 为了便于大家理解，猪哥画了一个非标准的淘宝登录请求时序图 ?...二、模拟登录实现 上面我们只讲了大概的登录流程，这里猪哥会先详细讲解下每一步的操作，然后再贴出实现代码！...1.判断是否需要验证码 目前我们在登录淘宝的时候，大多数情况下是不会出现滑块验证码，猪哥尝试了很多次的登录退出也只是在中间出现过一次，那究竟是什么在控制是否需要滑块验证码的呢？ ?...前面猪哥说过 ua 为浏览器、ip、设备信息等多信息加密参数，所以猪哥猜想淘宝的验证码是否出现不仅仅从账号角度，还有 ip、设备等角度！
作者 | 猪哥66 来源 | CSDN博客 今天我们来学习微信机器人多群转发做同步图文直播！ 一、背景介绍 猪哥一年前在建Python学习群的时候就说过，要邀请企业大佬来学习群做直播。...其实文章早就写好了，但是一直没有找到好的转发软件，所以耽搁了几个月。 最近猪哥感觉不能再拖了，所以就考虑自己开发一个多群直播项目，使用原来我们做的微信机器人项目。...3.三个微信转发24个群 猪哥就去网上看看有没有免费的转发软件，然后看了看wetools（一款基于windows的微信运营工具），发现他们付费版的一个微信最多也就可以转发9个群。...五、实际直播 24个微信大群同步直播，说实话之前很少有一个人能完成的，我咨询了很多以前做过群直播的同行，他们基本都是人工复制的方式。 但是，直播前一天顺利测试，给了猪哥很大的信心！...六、遇到的问题 其实直播的代码很简单，也不多，但是因为群多，用户体量大所以难免会遇到很多问题，下面猪哥就总结一下遇到的问题： 最大转发群数问题：最开始猪哥想的是只用一个机器人转发到24个群里，但是消息发不出去
作者：猪哥 在实际的工作中，不管你是开发、测试还是运维人员，都应该掌握的一项技能就是部署项目，简单说就是把项目放到服务器中，使其正常运行。今天猪哥就以咱们的微信机器人项目为例子，带大家来部署一下项目。...选择系统，猪哥选择的是CentOS 7.6 64位，系统可以随时更换！ ? ? ? ?...三、安装python3.7 一般的linux系统都会默认安装python2.7，而现在python3已经大行其道，我们的项目也是使用python3的，所以我们来给云主机安装python3.7。...1.上传项目 如果你是使用猪哥的微信机器人项目请先更新项，项目地址：https://github.com/pig6/wxrobot （或点击阅读原文） 首先我们在云服务器上创建一个目录，用于放置项目文件...，但是部署服务器的流程都是一样的，你可以使用相同的方法部署其他项目。
获取数据 既然做数据分析肯定要先搞到数据，最开始猪哥在一些官方网站查找旅游信息，毕竟官方的数据可信度高点， 但我一无所获，有点失望！...猪哥首先想到去哪儿，这里必须要安利一波去哪儿，同样的酒店同样的房间，去哪儿价格基本都是最低，所以猪哥也用的最多！ 选好学习对象，那我就开始吧！...注⚠️：本教程仅用作学习交流，如有侵害任何人权益，请联系猪哥删除！ 1.爬取单页数据 我们可以在哪去儿的门票页 （http://piao.qunar.com/ticket/list.htm?...5.推荐景点分析 应该推荐怎样的景点呢？猪哥认为是：高评分、销量少、价格便宜。...推荐系数和评分成正比，和销量、价格成反比，所以猪哥设计了一个最简单的算法： 瞎推荐系数=评分/(销量价格) * 1000 ? 来看看这个简易的推荐算法得出的结果 ?
ps：元字符表示正则表达式功能的最小单位，如 * ^ $ \d 等等 关于语法部分猪哥并不想过多的讲解，给大家做一个详细的归纳整理，供大家日后快速查找吧！ ?...三、匹配原理 匹配原理是猪哥想要重点讲解的部分，也希望同学们可以认真了解这部分的内容。 很多人觉得开车没必要了解车的构造原理，但是我们学编程的还真的需要了解原理。...DFA引擎执行原理： 为了大家能很清楚的理解DFA引擎执行原理，猪哥制作了一个简易的动态执行过程图给大家看看 ?...NFA引擎执行原理： 猪哥同样画了一个简易的NFA引擎执行过程图方便大家理解 ?...关于这两种引擎的总结，猪哥引用《精通正则表达式》书本中的一句话来概括： DFA（电动机） 和NFA（汽油机） 都有很长的历史，不过，正如汽油机一样，NFA 的历史更长一些。
作者 | 猪哥 来源 | 裸睡的猪（ID:IT--Pig） 前段时间我妈突然问我：儿子，爬虫是什么？我当时既惊讶又尴尬，惊讶的是为什么我妈会对爬虫好奇？尴尬的是我该怎么给她解释呢？...而爬虫可以让你很轻松的实现自己的产品，做的好的话就可以创业。这里猪哥给大家列几个简单的创业项目，当然作为一个思维引导。 ?...我认为好记是一个原因，其根本原因是受到编程行业的影响，你想想编程行业有多少动植物：Java（咖啡）、Python（蟒蛇）、Go（囊地鼠）、PHP（大象）、Linux（企鹅）、Perl（骆驼）、Mysql...（海豚）等等，具体为什么编程行业喜欢用动植物这猪哥就不清楚，还请明白的同学留言告知大家！...四、爬虫现状 之前猪哥说过互联网中有超过50%的流量来自爬虫，那我们就来简单聊聊目前爬虫的现状吧！
猪哥认为是数据分析和人工智能这两大块，而且这两个方向需求会慢慢增大，所以那些想学习Python却不知道要朝着哪个目标学习的同学可以考虑往这两个方向发展！...如果你不知道怎么选，那猪哥给你推荐：pyecharts 这个由中国人开发的可视化库，想要什么类型的图在下面文档里面找就行。...分析结论： 从整体看商家取名偏爱情趣二字 从材质看尿酸的最多 从功能看颗粒、螺纹的较多 ps：别问猪哥最中意哪个词，问就是延时。...分析结论： 包含情趣二字的商品有1150款，占到总数（2500款+）的46%。 前三甲是：情趣、尿酸、颗粒 ps：猪哥有个疑问想请教各位老司机：这个 免洗 是咋玩的？...数据分析作为一把利刃，能让你看见别人看不见的事物，如果使用得当完全可以作为你创业的一个重要支点！ 最后猪哥再送你一句忠告：想学数据分析，一定要学好pandas！
今天猪哥就以咱们的微信机器人项目为例子，带大家来部署一下项目。...选择系统，猪哥选择的是CentOS 7.6 64位，系统可以随时更换！ ? ? ? ?...三、安装python3.7 一般的linux系统都会默认安装python2.7，而现在python3已经大行其道，我们的项目也是使用python3的，所以我们来给云主机安装python3.7。...1.上传项目 如果你是使用猪哥的微信机器人项目请先更新项，项目地址：https://github.com/pig6/wxrobot （或点击阅读原文） 首先我们在云服务器上创建一个目录，用于放置项目文件...，但是部署服务器的流程都是一样的，你可以使用相同的方法部署其他项目。
如果你不知道怎么选，那猪哥给你推荐：pyecharts 这个由中国人开发的可视化库，想要什么类型的图在下面文档里面找就行。...分析标题高频关键字这都是老生常谈的一个流程，也就是使用jieba分词，然后统计词频，最后生成一个词云图，我相信经常看猪哥公众号的同学看都看腻了吧，这种小功能闭着眼睛都会了。 ?...分析结论： 从整体看商家取名偏爱情趣二字 从材质看尿酸的最多 从功能看颗粒、螺纹的较多 ps：别问猪哥最中意哪个词，问就是延时。...分析结论： 包含情趣二字的商品有1150款，占到总数（2500款+）的46%。 前三甲是：情趣、尿酸、颗粒 ps：猪哥有个疑问想请教各位老司机：这个 免洗 是咋玩的？...数据分析作为一把利刃，能让你看见别人看不见的事物，如果使用得当完全可以作为你创业的一个重要支点！ 最后猪哥再送你一句忠告：想学数据分析，一定要学好pandas！
今天这篇文章将是我们第二章的第一篇，我们从今天开始就正式进入实战阶段，后面将会有更多的实际案例。 爬虫系列文章的第一篇，猪哥便为大家讲解了HTTP原理，很多人好奇：好好的讲爬虫和HTTP有什么关系？...综上所述，我们选择选择requests库作为我们爬虫入门的起点。另外以上的这些库都是同步网络库，如果需要高并发请求的话可以使用异步网络库：aiohttp，这个后面猪哥也会为大家讲解。...四、爬虫流程 下图是猪哥之前工作总结的一个项目开发流程，算是比较详细，在开发一个大型的项目真的需要这么详细，不然项目上线出故障或者修改需求都无法做项目复盘，到时候程序员就有可能背锅祭天。。。 ?...猪哥就以某东商品页为例子带大家学习爬虫的简单流程，为什么以某东下手而不是某宝？...1.第一步：浏览器中找到你想爬取的商品 ? ? ? ps：猪哥并不是在开车哦，为什么选这款商品？因为后面会爬取这款商品的评价做数据分析，是不是很刺激！
一、需求背景 之前猪哥带大家爬取了优酷的弹幕并生成词云图片，发现优酷弹幕的质量并不高，有很多介词和一些无效词，比如：哈哈、啊啊、这些、那些。。。...这里猪哥建议输入错误的密码，这样就不会因为页面跳转而捕捉不到请求！...1.分析豆瓣影评接口 首先在豆瓣中找到自己想要分析的电影，这里猪哥选择一部美国电影《荒野生存》，因为这部电影是猪哥心中之最，没有之一！ ?...基于使用词云分析的案例前面已经讲过两个了，所以猪哥只会简单的讲解一下！ 1.使用结巴分词 因为我们下载的影评是一段一段的文字，而我们做的词云是统计单词出现的次数，所以需要先分词！ ?...从这些词中我们可以知道这是关于一部关于追寻自我与现实生活的电影，猪哥裂墙推荐！！！
，所以猪哥会特别详细的讲解每一地方，尽量使每一位想学习的同学都能顺顺利利的开始，下面就让我们一起来做些有趣的事吧！...4.整体流程 为了方便大家理解，猪哥给大家画了一个时序图 二、项目代码 先来张项目结构图压压惊： 1.下载项目 猪哥已经把项目放在了GitHub上，群里有小伙伴反馈不会使用github，这里我就详细讲一下如何从...首先找到你需要下载的项目，然后点击Clone or download，然后点击右侧的复制按钮，猪哥这个项目的地址是：https://github.com/pig6/wxrobot 然后打开你的...三、总结 首先感谢大家的耐心阅读，考虑到有很多零基础的同学所以文章有点长。 猪哥来总结下这几天使用wxpy库开发微信机器人的一些感受吧！...猪哥用自己的大号测试了一周，也没有出现被封的迹象，只要不发送大量的相同信息就没问题 即使出现被封也只是会限制你微信登录网页版，手机端不影响使用，正常使用大概一两周就自动解封 最好用小号测试，一年以内注册的微信号不可以登微信网页版
作者 | 猪哥 来源 | 裸睡的猪（ID:rgznai100） 目前越来越多的网站、编辑器、编程语言都已支持一种叫“正则表达式”的字符串查找“公式”，有过编程经验的同学都应该了解正则表达式（Regular...ps：元字符表示正则表达式功能的最小单位，如 * ^ $ \d 等等 关于语法部分猪哥并不想过多的讲解，给大家做一个详细的归纳整理，供大家日后快速查找吧！ ?...匹配原理 匹配原理是猪哥想要重点讲解的部分，也希望同学们可以认真了解这部分的内容。 很多人觉得开车没必要了解车的构造原理，但是我们学编程的还真的需要了解原理。...DFA引擎执行原理： 为了大家能很清楚的理解DFA引擎执行原理，猪哥制作了一个简易的动态执行过程图给大家看看 ?...NFA引擎执行原理： 猪哥同样画了一个简易的NFA引擎执行过程图方便大家理解 ?
以下文章来源于裸睡的猪，作者猪哥 微信（WeChat）是腾讯公司于2011年1月21日推出的一款社交软件，8年时间微信做到日活10亿，日消息量450亿。...产品的更新迭代必然会伴随着功能的推出和下线，今天我们要讲的便是微信在2014年推出的一个小小的新功能：撤回消息，使用此功能者提神醒脑、神清气爽，但被施用者却可能会抓耳挠腮、咬牙切齿的想知道你到底撤回了啥...，替换原消息，改个显示的样式即可 猪哥给大家演示一下正常消息和撤回消息的内容到底有什么区别： 正常消息：Content='你好骚啊'，大家留意一下MsgId='8784390488772995470'...[CDATA["猪哥" 撤回了一条消息]]> 分析上面撤回的Content字段我们发现8784390488772995470...五、总结 微信消息防撤回功能实现简单，但实用性很好，目前项目的唯一缺点就是易用性差，简单说就是我们还没有将项目部署服务器，每次使用都得打开电脑然后运行还得一直开着，猪哥考虑后面将项目部署在云服务器上或者打包成
产品的更新迭代必然会伴随着功能的推出和下线，今天我们要讲的便是微信在2014年推出的一个小小的新功能：撤回消息，使用此功能者提神醒脑、神清气爽，但被施用者却可能会抓耳挠腮、咬牙切齿的想知道你到底撤回了啥...，替换原消息，改个显示的样式即可 猪哥给大家演示一下正常消息和撤回消息的内容到底有什么区别： 正常消息：Content='你好骚啊'，大家留意一下MsgId='8784390488772995470'...[CDATA["猪哥" 撤回了一条消息]]> 分析上面撤回的Content字段我们发现8784390488772995470...的id与我们之前发送消息的id是一致的，而这个标签也验证了我们的猜想，确实是用新消息替换原消息。...五、总结 微信消息防撤回功能实现简单，但实用性很好，目前项目的唯一缺点就是易用性差，简单说就是我们还没有将项目部署服务器，每次使用都得打开电脑然后运行还得一直开着，猪哥考虑后面将项目部署在云服务器上或者打包成
而爬虫可以让你很轻松的实现自己的产品，做的好的话就可以创业。这里猪哥给大家列几个简单的创业项目，当然作为一个思维引导。 ?...我认为好记是一个原因，其根本原因是受到编程行业的影响，你想想编程行业有多少动植物：Java（咖啡）、Python（蟒蛇）、Go（囊地鼠）、PHP（大象）、Linux（企鹅）、Perl（骆驼）、Mysql...（海豚）等等，具体为什么编程行业喜欢用动植物这猪哥就不清楚，还请明白的同学留言告知大家！...四、爬虫现状 之前猪哥说过互联网中有超过50%的流量来自爬虫，那我们就来简单聊聊目前爬虫的现状吧！...五、总结 本期为大家讲解什么是爬虫、爬虫的价值、爬虫的合法性以及爬虫的现状，下期猪哥将采访一位牛逼的爬虫工程师，让他为大家讲讲实际工作中的一些知识以及作为一名爬虫工程师该掌握和学习哪些技能，让大家能更近距离接触爬虫
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
