中间件是在匹配路由前、匹配路由后做的一系列的操作，Egg 是基于 Koa 实现的，所以 Egg 的中间件形式和 Koa 的中间件形式是一样的，都是基于洋葱圈模型，下面用一个实例来介绍在Egg中如何使用中间件，以屏蔽用户IP为例。
通过【使用 Fail2Ban 保护 Nginx、WordPress 简单又高效】一文的梳理，明月基本上已经是彻底的明白和吃透了 Fail2Ban 的原理了，说白了 Fail2Ban 就是一个日志 IP 的过滤筛选器，根据不同的监狱规则从日志中找出这些“行为不端”的 IP，一旦这些 IP 发送了触犯监狱规则的请求达到阈值就会在 iptables 里直接封禁屏蔽，并且可以设置屏蔽这个 IP 的时间长久来避免误伤造成的危害过大。
作者：matrix 被围观: 1,460 次 发布时间：2013-09-19 分类：兼容并蓄 零零星星 | 3 条评论 »
网站想要实现不关站备案就需要涉及到两个方面的考量，一个是需要服务器在境外，内陆服务器肯定是不行的；另一个则是需要禁止或者屏蔽域名首页的正常访问，那么为此子凡这里可以给搭建提供一些方法和思路。
对运营人员来说，Analytics等分析工具是必不可少的，分析数据力求精确，确保分析结果不会被干扰。
Nginx (engine x) 是一个高性能的HTTP和反向代理服务，目前很大一部分网站均使用了Nginx作为WEB服务器，Nginx虽然非常强大，但默认情况下并不能阻挡恶意访问。
镜像网站看似一个完整的站点，其实每次用户访问网站的时候，程序还是调用的原网站的数据，所以我们可以屏蔽这个服务器的IP，禁止抓取我们的网站数据。如果是LINUX主机可以通过以下方法获取和屏蔽镜像网站服务器IP。
通过调整nginx配置，解决error中的大量报错提示。通过过滤js等静态资源减少大量的access日志记录内容。
查看自己的网站是否被镜像 在搜索引擎中搜索自己网站的完整标题 语法：intitle 你的网站标题 JS跳转 <script type="text/javascript"> if (document.domain !== 'www.roaing.com'){ window.location.href='https://www.roaing.com'; } </script> 注：域名修改为自己的 屏蔽镜像站IP .htaccess文件，添加如下代码 Order Allow,De
宝塔面板更新后原来的“跳过强制手机号登陆绑定账户”方法已经失效因为新版本宝塔面板已经开始验证 userInfo.json，而且目前没有任何的方法可以跳过强制手机号登陆绑定账户的解决方法，宝塔面板强制登陆问题，因为登陆信息与软件列表绑定。目前无法直接破解、删除、绕过登陆。只能通过降级到宝塔面板 7.7.0 来解决这个问题。
百度统计搜索词最近被人用程序刷上广告了，严重影响了正常的统计数据，而且每次看数据都会看到广告，不得不进行处理。
Umami 是一个开源的 Self-hosted 的轻量网站统计分析工具。可替代 Google Analytics、百度统计这些工具。适合个人博客、小型网站使用。
这篇文章就来搜集整理一下网站限制IP访问的方法，以及梳理一下国内外免费在线和离线的IP库，方便大家使用。
这两天回了家从感觉浏览器行为有些怪异，有些熟悉的网页无故出现了额外的竖直滚动条，有时候是两个，有时候甚至到了3个！我是用的是chrome浏览器，像现在wp后台添加文章的页面就是有3个竖直滚动条的。
短信API接口在web中得到越来越多的应用，如用户注册，登录，密码重置等业务模块都会使用手机验证码进行身份验证。一般情况下，我们会采用这样的安全策略，将短信发送频率限制在正常的业务流控范围内，比如，一个手机号一天最多下发10条短信，同时限制时效，验证次数。但这样的策略，攻击者通过遍历手机号，还是阻止不了短信资源被消耗的情况。
给网站添加一些特殊页面，如aaabbb.html， 并使用脚本自动读取访问日志（看看哪些ip访问过这个页面），筛选出反代服务器的IP并屏蔽之。 （防御强度：2）
1、首先可以从php和mysql入手，OPCache缓存就是针对php代码执行效率优化提速的，而Memcached主要是缓存我们的mysql查询，减少不必要的重复查询，从而加快访问深度，显著降低TTFB，减轻服务器压力。
现在很多网站都充斥着大量烦人的游戏广告，占用电脑资源不说，还浪费浏览者眼球，更主要的是，游戏害人啊。眼看这些广告越来越肆虐蔓延，真的忍不下去了，果断想办法屏蔽。 image.png 烦人的广告 看到广告右上角都有百度的图标，所以这些广告都是百度提供的，必然要用百度的域名，打开源码查看一下： image.png 百度广告的代码 看到主要是：http://cbjs.baidu.com/js/o.js这个地址，经过查找，这些广告还会用到：eclick.baidu.com pos.baidu.com这2个地
在PHP开发过程中,经常会用到获取IP,分析判断的需求. 之前一直用收费API 稳定快速,小项目还好,大项目,每月消耗还是不少的,特此找了一个免费的接口地址. 废话不多,直接上编写好的代码 > error_reporting(0); //屏蔽非致命错误 > header('content-type:application/json;charset=utf8');//网页输出格式 JSON > > $host = "http://ip.taobao.com/service/getIpInfo.php";
mock数据用过的人一定不陌生，他的好处也是层出不穷，比如下面就是一段对mockjs很好的描述：
采用Pure DNS的智能解析方案，几十个人用问题应该不大。所以看到的就自用，不要大规模扩散宣传，腾讯云小水管受不住。 之前一直在用中科大的dns，但是最近他们貌似改ip了，解析超慢的，一时竟找不到替代品，于是便萌生了这样的想法——自建dns。 此dns非常普通，仅仅比普通dns多了一个拦截广告的功能（而且还只能拦截广告联盟的，要是他图片和js在本地我也无能为力）。 屁话说了那么多，ip该发出来了：118.24.168.102（已禁ping）
几个月前，我向CloudFlare的漏洞奖励计划提交了一个貌似漏洞的东西。但根据他们的说法，我提交的并不算是一个安全问题，并表示对我“不予理睬”！
然后访问你的域名看一看是否成功镜像，需要注意的一点是，如果被镜像的网站设置了防盗链，那么静态文件(js/css/图片)可能无法显示，这就没办法了。
分享一件关于在激活PhpStorm时的一件趣事，（屏蔽网站） C:\Windows\System32\drivers\etc 路径下的hosts文件， 打开hosts文件之后，我们会发现在hosts文件的最下面，有这样一行：
之前有读者在字节一面的时候，被问了这么一个问题：在浏览器输入 URL 并回车后，如果页面迟迟没有出现，怎么去排查问题？
本文主要应对与web端数据的防採集（接口数据加密方面）
电商平台的核心引擎大致分为两块，搜索架构和产品布局，应该说各有各的特色。当然今天的主题是反爬虫机制，电商平台如何能保护好自己的数据，又不影响正常用户体验，所谓当今业界一场持久的攻防博弈。 一阶爬虫（技术篇） 应用场景一：静态结果页，无频率限制，无黑名单。 攻：直接采用scrapy爬取 防：nginx层写lua脚本,将爬虫IP加入黑名单，屏蔽一段时间（不提示时间） 应用场景二：静态结果页，无频率限制，有黑名单 攻：使用代理（http proxy、VPN），随机user-agent 防：加大频率周期,每小时或每
1月23日，寒风刺骨，北京入冬以来最冷的一天！这天下午，好雨云与开源社共同举办了好雨极客汇第二期，本次以《漫谈云端架构与运维的那些事儿》为主题的沙龙，邀请了来自椒图科技、折800分别负责架构和研发的技
这篇文章中说到坏男孩博客一直在使用CloudFlare提供SSL服务和防火墙服务。SSL并没有什么好说的，今天简单介绍一下我是如何写Cloudflare中的防火墙规则。
近来这两三个月，我陆续将自己学到的爬虫技术分享出来。以标准网络库 urllib 的用法起笔，接着介绍各种内容提供工具，再到后续的 scrapy 爬虫框架系列。我的爬虫分享之旅已经接近尾声了。本文就来聊聊如何防止爬虫被 ban 以及如何限制爬虫。
马哥linux运维 | 最专业的linux培训机构 ---- 采集和防止采集是一个经久不息的话题，一方面都想搞别人的东西，另一方面不想自己的东西被别人搞走。 本文介绍如何利用nginx屏蔽ip来实现防止采集，当然也可以通过iptable来实现。 1.查找要屏蔽的ip awk '{print $1}' nginx.access.log |sort |uniq -c|sort -n nginx.access.log 为日志文件， 会到如下结果，前面是ip的访问次数，后面是ip，很明显我们需要把访问次数多的ip
墨菲定律 - 任何事没有表面看起来那么简单 - 所有的事都会比预计的时间长 - 可能出错的事情总会出错 - 担心某种事情发生，那么它就更有可能发生
采集和防止采集是一个经久不息的话题，一方面都想搞别人的东西，另一方面不想自己的东西被别人搞走。
对于MySQL的高可用集群方案，之前在项目实战中使用过简单的主从半同步复制方案、基于Galera的MySQL高可用集群，但总感觉配置太复杂，集群目前的状况不太清晰明确，发生故障转移时经常需要人工参与。这周使用mysql-operator，发现这里已经使用了MySQL官方推出的一套完整的、高可用的MySQL解决方案-MySQL InnoDB Cluster，这绝对是MySQL运维工程师的福音，这里将一些研究过程中查阅的资料记录一下。
和 EpicGames 官方的像素流 SDK 相比，我们开发出了更轻量的像素流 SDK，包含 2 个文件：前端组件（WebComponents API）外加信令服务器（NodeJS）。
这篇文章由“潇湘信安技术交流群”@嘞萌师傅投稿，@3h整理发布，记录的是他在无意中发现的一个新型钓鱼诈骗方式，从技术层面简单分析了下。
最常见的基本都会使用代理IP来进行访问，但是对于一般人来说，几万ip差不多是极限了，所以一个ip还是可能多次请求。意味着爬虫需要付出更多的成本投入在IP资源上，IP越多，爬取的成本越高，自然容易劝退一部分人。
一、 管理工具集 数据迁移 Mongoexport：用于针对colletions的数据导出，或者打开单个字段。 Mongodbimport：与只对应，这个表示在导出的基础上导入。 数据库的备份恢复 Mongodump：数据库全备份。 Mongostore：还原数据库。可以没有数据库的存在 db.runCommand({“fsync”:1,”lock”:1}):清空所有挂起操作和锁定。 db.$cmd.sys.unlock.findOne(); //解锁 db.currentOp(); //确保锁被释放了
上月底，代码托管网站GitHub遭遇大流量DDoS攻击。攻击者劫持百度广告联盟的JS脚本并将其替换成恶意代码，最后利用访问中国网站的海外用户对GitHub发动大规模分布式拒绝服务攻击。谷歌近日发表了针对此次攻击的分析报告，还原了整个攻击的全过程。 谷歌：纵览全部攻击过程 谷歌的Safe Browsing每天会扫描分析数百万个网页，从中找出恶意内容。Safe Browsing并不是从网络流量方面进行分析，而是从HTTP协议层面。 其实JS劫持攻击最早发生在三月初，而不是我们以为三月中下旬。根据谷歌3月1日
利用ngx_http_core_module、ngx_http_rewrite_module模块 主要是301跳转 Return写法：域名http请求跳转到对应的https请求
现在的浏览器动不动就是默认开启广告屏蔽功能，不论是手机浏览器还是电脑端浏览器，各种网站广告屏蔽插件和规则，网站正常的广告联盟广告几乎被屏蔽得干干净净，作为用户而言子凡肯定是开心的，毕竟阅读体验非常好，然而作为站长来说，这就是在断自己的财路啊。
访问80端口是一个phpStudy 探针，结合phpinfo.php和探针知晓主目录在C:/phpStudy/WWW
知道了原因就比较好办了，屏蔽那些ip段应该就太平了。将log日志中的ip地址提取出来（剔除本地ip、搜索引擎蜘蛛ip、目标市场ip），然后找这些ip的规律，如果是连续的，可以用ip段进行屏蔽。怎么屏蔽？ytkah刚开始想着用NGINX进行限制，但是没有起到很好的效果，那就用防火墙吧，服务器一般都会有防火墙功能，如果是linux服务器可以用iptables命令，也有一些第三方的服务器控制面板如wdcp，以下是ytkah添加的一些ip段屏蔽规则
虽然自己的网站流量十分少，但是还是加了一个谷歌广告，用来自己耍。添加之后发现很多电脑浏览器插件很直接进行屏蔽，手机浏览器也会进行屏蔽。虽然自己也不喜欢广告，但是如何在检测出广告被屏蔽后在原来位置上输出一句话提醒浏览者不要关闭本站的广告展示呐？ 自己在网上找了一些有用的方法，一种是检测广告div的高度，如果高度是0则进行了屏蔽，另一种是自己建一个js，其名称和路径与真实广告的js差距不大，能让插件误拦截，通过检测该js是否加载来判断是否遭到屏蔽。 因为不同的广告插件可能自己拦截方式不同，我就把这两种方法结合一下来进行判断。 首先在自己的广告单元上加两个div（可以根据自己的需求，自行更改）
各位爬友们好，作为一名专业的爬虫代理提供者，我要和大家分享一些避免爬虫IP被屏蔽的实用技巧。你知道吗，当我们爬取数据的时候，很容易被目标网站识别出来并封禁我们的IP地址，导致无法继续爬取数据。这个问题困扰了很多爬虫程序员。但别担心，今天我就来给你们支招，帮你们顺利搞定这个问题！
有时候你会发现，你在搜索引擎输入网站名称的时候，出来的网站信息是你们的，但是域名却是一个陌生的，这种情况可以基本确定网站被镜像了，那么究竟什么叫网站被镜像？
随着全球数字化的飞速发展，越来越多的商家用独立站、在线商家等方式将业务拓展到国际市场。
很多国内外贸人用 wordpress 搭建了外贸网站，在收获更多国外客户的同时，也发现了一个烦恼的事情：通过网站统计能够发现很多来自国内的 IP 停留时间很长，也就意味着有国内同行在研究自己的网站产品，要么直接 copy 一个同类网站出来，要么研究你的外贸网站产品布局，可以弄清楚你的主打产品、爆款产品和研发方向。对于外贸网站来说这是一个挺纠结的问题。今天给有需要的外贸网站推荐一款 iq block country 插件，能够屏蔽中国 IP 访问，防止 wordpress 外贸网站被恶意抄袭和研究。
随着互联网基础设施建设的发展，4G/5G/NB-IoT各种网络技术、物联网技术的大规模商用，视频随时随地可看、可控、可回溯的诉求越来越多，互联网思维、架构和技术引入进传统监控行业里，成为新形势下全终端监控的基础需求。因使用区域受限、实施成本和入口门槛高，传统监控行业和摄像机直播系统无法借力优质云资源搭建属于自己的监控云平台，客户终端出不了监控的内网，无法做到公网实时监控与录像回放，更别说用手机、微信、H5、无插件随时随地看视频了，之前的方案中我们提到的EasyNVR产品已经完全可以解决以上痛点。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
