这是我的第二篇原创文章 在上篇文章爬取豆瓣电影top250后，想想既然爬了电影，干脆就连影评也爬了，这样可以看看人们评价的电影，再加上刚出不久的移动迷官3好像挺热的，干脆就爬他吧，爬完看看好不好看！
到现在，非常多的视频网站都是利用 m3u8 格式的特性，把一段视频分成多段，进而增加各类软件下载网页上视频的难度。
上一篇博客讲了Linux抓取网页的方式，有curl和wget两种方式，这篇将重点讲Linux抓取网页的实例——抓取google play全球12国的游戏TOP排名
【独创】：JYS模式：‘后端,前端分离’，市场MVC变异版，为移动应用而生（小程序，微信，支付宝，移动浏览器等），为智能而生。
平时手机和电脑传输文件使用最多的就是微信和QQ，主要是大家都在用微信和QQ，最近微信文件传输助手网页版上线了 https://filehelper.weixin.qq.com/，可以很方便的在手机和电脑间互传文件了 ，不用安装微信电脑客户端。
分享一个超简单搭建WEB服务器的小方法，可以一键将你的普通电脑变身为网站服务器哟！ 1、为了实现快速架设PHP(网站程序)+MySQL(数据库)Web运行环境，这里提供一款超级棒的免费工具 - USBWebserver，是国外汉化版的，绿色无需安装，解压即可使用 2、下载上面的工具包，将里面全部的文件(夹)完整的解压出来，双击运行主程序“usbwebservercncn.exe”，这时一个完美的Web运行环境就搞定了 3、由于该工具包默认开启的网站端口为 8080 ，所以我们需要进入“
Selenium是一个WEB自动化测试工具，它运行时会直接实例化出一个浏览器，完全模拟用户的操作，比如点击链接、输入表单，点击按钮提交等。所以我们使用它可以很方便的来登录网站和QQ空间。
项目介绍 相信大家都用过mongodb的一些客户端工具，如mongovue等等这些工具，这些是直接安装在电脑上的，当我们在生产环境中的数据库，为了安全我们是不允许远程连接的，只能在本机连接，这样也就意味着处理数据的时候我们需要用命令行，确实有些不方便，像mysql有网页版的phpmyadmin, 我们这边了就也开发了一个网页版的mongodb管理工具。支持mongodb 2.6-3.0以上版本。 使用方法 将项目启动，然后修改mongodb-config配置文件 配置你要管理的数据库地址，支持副本集，也支持
首先列举一下本人总结的相关文章，这些覆盖了入门网络爬虫需要的基本概念和技巧：宁哥的小站-网络爬虫
在日常工作中，我们会经常收到邮件，有些是重要的邮件我们希望第一时间知晓，如领导发送的邮件，程序报警邮件。微信是我们使用频率最高的 app 了，因此如果能把邮件内容及时发送到微信，我们就可以及时获取邮件信息，进而采取相应行动。比打开邮件客户端再点击邮件查看要方便多了。
linux下easypanel版本安装及升级 (集成了kangle web 服务器和mysql,仅支持centos 5和centos 6) 执行下面的命令即可，安装程序将自动安装或者升级。
说说我的需求：我平时都是我的iPad上添加我日常的日程，但是如果要到电脑或安卓手机上也有同样的日历就比较不方便。
新浪微博作为新时代火爆的新媒体社交平台，拥有许多用户行为及商户数据，因此需要研究人员都想要得到新浪微博数据，But新浪微博数据量极大，获取的最好方法无疑就是使用Python爬虫来得到。网上有一些关于使用Python爬虫来爬取新浪微博数据的教程，但是完整的介绍以及爬取用户所有数据信息比较少，因此这里分享一篇主要通过selenium包来爬取新浪微博用户数据的文章。
从今天开始，matlab爱好者公众号将不定期向广大爱好者推荐一些学习或者科研中可能会使用的小工具，也算是给大家的一点点小福利，也希望大家继续支持和关注matlab爱好者。
多说API：http://dev.duoshuo.com/docs/512d6e2e418847315a000001 发表评论 接口名称 /posts/create 接口说明 发表评论。 URL http://api.duoshuo.com/posts/create.`返回格式` 返回格式支持：json, jsonp HTTP请求方式 POST 是否需要登录 否 请求参数 short_name 必需 站点申请的多说二级域名。 secret 必需 站点密钥。 message 必需 评论内容。 thread_k
当你接入Cloudflare的CDN，并点亮小云朵之后。你的网站就已经通过Cloudflare的CDN节点进行中转了。默认情况下，Cloudflare 会对你网站中的图片、JS、CSS文件等静态文件进行缓存。
公众号由于私人原因差不多一个月没有更新了，首先还是得感谢没有你们，没有取关我，很开心。其次我会在以下的两个月时间为大家输出高质量的文章，让你们能学到东西的同时，也可以让我自己得到提升。好了，闲话不多说，开始正文！
笔者使用的系统是linux ubuntu，最近在学习爬虫的过程中遇到了一个抓狂的问题，我尝试使用selenium加phantomjs来登陆网页的时候，Pythony一直提示selenium无法找到元素，不管我怎样修改定位的方法，永远出现No such elements的错误，让我几乎抓狂。再确认了测试了好几遍编写的代码后，我将程序出现的错误定位在了其中这几行代码里面
其实18年之前写过一篇关于chrome插件的文章，里面安利了4个chrome插件。鉴于这已经是9102年了，之前觉得好用的chrome插件跟新了解到的比起来，还是差了那么点味道。所以决定再更新一波，顺便补上之前漏掉的几个插件。
网站的收录、排名以及点击是SEO工作中重要的三个环节，它们三个缺一不少，而且也是按照先后顺序进行的，网站要想有SEO流量，收录是第一个重要的步骤，没有收录那么排名、点击都是浮云，所以收录的优化非常的重要，其实许多网站的收录都做得不是很好，特别是一些大中型网站，它的收录都有优化的空间，当你把它的收录优化增加一倍的时候，流量往往会增加不少，所以仅仅在收录这一环节，都有许多工作可以去做，那么我们该如何科学的做好网站的收录呢？ 1、分析搜索引擎
摘要：Django的学习教程也是分门别类，形式不一。或是较为体系的官方文档，或者风格自由的博客文档，或者偏向实例的解析文档。即使官方文档，章节较多，文字阐述累赘，有时候我们只是关注某个功能用法而已，而自由博文最大的问题是互相抄袭，结构混乱，涵盖面小且错误较为明显。由此，本文结合学习期间资料梳理和项目开发经验，整理出一套较为常用实用的文章。适用于(1)新手入门，无论C#，C，java,Python，R等具有任何编程语言基础均可；(2)想快速了解Django并可以快速开发上手者。(3)适用于作为资料查询，技
在电脑中使用过网页版知乎的小伙伴们应该都知道，在使用前是必须进行登录的，为此小编就带来了知乎免登录插件2021，这是专门针对知乎登录问题而打造的一个浏览器插件脚本工具。因为在访问网页版时会强制要求你登录账号，否则根本点不进去，无法正常使用，但是有了该插件，只需要启动即可轻松帮助用户实现不登录也可正常使用知乎网页版，并只要启动了知乎免登陆脚本不仅直接免去了登陆的流程，还丝毫不会影响用户浏览其中的问题、文章、答案以及别人的评论等内容，十分强大。 不过需要注意的是，这个脚本是属于油猴脚本的，所以在使用前需要先安装油猴管理器，当然小编也是有打包提供的，只需要先安装好油猴，再导入安装脚本即可。
好久没更新Python相关的内容了，这个专题主要说的是Python在爬虫方面的应用，包括爬取和处理部分
它也有Session功能，可以保持会话信息，如cookie等，这个可以让我们用来进行登陆后的操作
电脑已经成为了我们生活和工作的一部分，现在绝大部分人的工作都离不开电脑。当然，学习也离不开电脑，特别是我们大学生要常常在电脑上下载一些学习资料或者论文，就更离不开了。
之前看过其他的二维码登陆劫持漏洞，有的地方写的不是很详细，花了不少时间去研究二维码的原理，才弄懂漏洞。为了照顾更多入门新手，以本人的理解重新总结一遍，二维码登陆原理不是这里的主题，不过有必要熟悉一下流程。
域名升级是在用户进行域名购买之后对网址进行维护的一种方式，它是变得更好的过程。所以既然是升级，实际上就是某些企业对自己域名的升级，对域名的质量进行提升。一般都是企业在购买有名之后的必要的步骤，那么什么是域名的升级呢？它又有什么用呢？
现在的网站开发，都绕不开微信登录（毕竟微信已经成为国民工具）。虽然文档已经写得很详细，但是对于没有经验的开发者还是容易踩坑。
这种配置对于大多数树莓派用户来说，可能过于重量级了，但是大多数用户能学到服务器的配置过程，是一种学习配置服务器的好方法。我可能会在以后写一篇轻量级服务器的配置文章。
听说阿尔法狗又要挑战柯杰了。时至今日，人工智能不断刷新我们对这个世界的理解。或许再过不久，你真的不知道跟你在网上聊天的对象还是不是一个“人”，也不知道自己的工作会不会有天就被机器给取代了。 要想不被机器淘汰，那只能“进化”得比机器还快！ 之前我们介绍了一个可以记录微信撤回消息的小工具，参见 再也不用担心错过几个亿啦：基于Python的微信消息防撤回工具 今天我们就来讲讲它的实现基础 - itchat。文末将给出一个基于 itchat 开发的微型微信聊天机器人。 itchat 是一个开源的微信个人公众号接口，
模拟登陆的时候是post请求。提交表单的地址和人人界面登陆地址是不一样的，实际是人人界面的登陆地址。也就是wwww.renren.cm.你输入你的信息以后它会自己主动跳转到
前言：自从2014年4月大一开始接触Java，7月开始接触网络爬虫至今已经两年的时间，共抓取非同类型网站150余个，其中包括一些超大型网站，比如百度文库，亚马逊，魔方格，学科网等。也在学长五年经验留下来的代码的基础上，整合成一个小型的爬虫框架，主要用于抓取期刊之类的数据型网站，包括元数据抓取和文件下载。在此感谢曾经给我指导方向，帮助我学习的学长们。
我们常常会有这样的情况，各种各样的账号密码都是用的浏览器的记住密码功能，然后再次登陆就是直接的使用自动填充表单中的账号密码，这样久而久之的登陆之后，你就会发现你自己也忘记了密码到底是什么了，但是我们想要得到密码，或者在其他设备浏览器登录，迫于无奈又要去通过邮箱或者是手机去找回密码。
在初学的爬虫过程中，很多人还不知道如何抓包，怎样子抓包才能获取到所需要的信息。为了纪念【宏彦获水】成语初次面世，特地用【百度搜索】写下一篇作者常用工具的抓包教程，以供大家参考。
作者 gethostbyname 上一篇文章，介绍了常见的流量劫持途径。然而无论用何种方式获得流量，只有加以利用才能发挥作用。 不同的劫持方式，获得的流量也有所差异。DNS 劫持，只能截获通过域名发起的流量，直接使用 IP 地址的通信则不受影响；CDN 入侵，只有浏览网页或下载时才有风险，其他场合则毫无问题；而网关被劫持，用户所有流量都难逃魔掌。 在本文中，我们通过技术原理，讲解如下问题： – 为什么喜欢劫持网页？ – 只浏览不登陆就没事吗？ – 自动填写表单有风险吗？ – 离开劫持环境还受影响吗？ – 使
除了社交媒体，浏览器可能是我们日常工作、学习和生活中最常用的平台之一。然而，在使用浏览器的过程中，我们经常被书签管理、标签管理等问题所困扰。例如，书签栏混乱不堪，无法快速查找到所需书签。
Shodan (撒旦搜索引擎) 是由web工程师 John Mather (马瑟利) 编写的，被称为“最可怕的搜索引擎”，可扫描一切联网的设备。除了常见的web服务器，还能扫描防火墙、交换机、摄像头、打印机等一切联网设备。
Hackinglab是一个在线网络信息安全攻防平台，里面有很多题，我随便做里面一套题，算是这两天学渗透的一个总结，题目地址
'https://movie.douban.com/subject/27605698/comments?status=P' 使用工具：python+selenium 首先，很简单的，我们得使用sele
我们碰到了一个基于前后端分离的网站，或者说一个用JavaScript获取数据的网站。这种网站的数据流程是这样的：
马上十一、中秋双节，很多客户开始做节日活动，基本都有一个共性需求：活动期间，流量预计翻N备，由此引发了一轮MySQL的容量治理与保障。
调试来自PC，Mac或Linux系统以及移动（iOS和Android）设备的流量。确保在客户端和服务器之间传输正确的cookie，标头和缓存指令。支持任何框架，包括.NET，Java，Ruby等。并且可以进行HTTP/HTTPS流量记录，安全测试、性能测试等，可以说是一个不错的软件，但是唯一遗憾的就是没有MAC版本，如果你的电脑是mac，那么可以考虑使用CrossOver进行安装和练习。
终于想开始爬自己想爬的网站了。于是就试着爬P站试试手。 我爬的图的目标网址是： http://www.pixiv.net/search.php?word=%E5%9B%9B%E6%9C%88%E3%8
以教育版为例，商业版大同小异 以win10系统环境为例，其他系统大同小异，部分功能有阉割。 -1st- 注册 网址是：https://www.microsoft.com/en-us/education
网络上有形形色色的网站，不同类型的网站爬虫策略不同，难易程度也不一样。从是否需要登陆这方面来说，一些简单网站不需要登陆就可以爬，比如之前爬过的猫眼电影、东方财富网等。有一些网站需要先登陆才能爬，比如知乎、微信等。这类网站在模拟登陆时需要处理验证码、js 加密参数这些问题，爬取难度会大很多。费很大力气登陆进去后才能爬取想要的内容，很花时间。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
