Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >如何判断是不是搜索引擎蜘蛛访问

如何判断是不是搜索引擎蜘蛛访问

原创
作者头像
用户1539053
发布于 2023-07-24 06:59:36
发布于 2023-07-24 06:59:36
73000
代码可运行
举报
文章被收录于专栏:百妖乐百妖乐
运行总次数:0
代码可运行

第一种:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
var r = document.referrer;
r = r.toLowerCase();
var aSites = new Array('google.','baidu.','sm.','soso.','so.','360.','yahoo.','youdao.','sogou.','gougou.');
var b = false;for (i in aSites){
if (r.indexOf(aSites[i]) > 0){
 b = true;
 break;
 }
}
if(b){
 //是蜘蛛访问
}

第二种

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
var regexp=/\.(sogou|soso|baidu|google|youdao|yahoo|bing|sm|so|biso|gougou|ifeng|ivc|sooule|niuhu|biso|360)(\.[a-z0-9\-]+){1,2}\//ig;
var where =document.referrer;
if(regexp.test(where)){
  //是蜘蛛访问
}

以上两个方法是Javascript判断是否蜘蛛访问的核心,在具体使用中可以有不同的版本,但都是根据document.referrer来判断的。方法大家都知道了,但众所周知,搜索引擎蜘蛛并不识别Javascript内容,如果你想要根据js判断来进行跳转或者输出内容就不可取了,那么到底应该怎么用呢?举例如下:

一、给蜘蛛看而不是给用户看的内容

比如,黑链……当然,还有其他应用,这里就以黑链为例。应用原理其实很简单,针对用户让其不可见(display:none)即可。如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<div id="blackLinks">
    <a href="http://www.pianyong.com">偏用</a>
    <a href="http://www.jd-cloud.cn">筋斗云</a>
</div>
<script>
    var regexp=/\.(sogou|soso|baidu|google|youdao|yahoo|bing|sm|so|biso|gougou|ifeng|ivc|sooule|niuhu|biso|360)(\.[a-z0-9\-]+){1,2}\//ig;
    var where =document.referrer;
        if(!regexp.test(where)){
            $('#blackLinks').hide();
        }
</script>

就是这样啦~

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
html跳转网页代码_迅雷搜索引擎蜘蛛
蜘蛛正常访问 用户访问直接跳转,这样的需求相信有很多人都遇到过,也就是:当用户点击进入网站页面的时候,会直接跳转到指定的网页,但是当蜘蛛进来访问时就不会跳转,让蜘蛛可以正常抓取。
全栈程序员站长
2022/09/21
7310
网站被入侵攻击导致快照收录被劫持
3月份所有的企业都开始恢复正常运营,公司网站的运营者发现网站被攻击篡改跳转,在百度的收录出现了大量的与网站本身内容不相干的快照,都是一些菠菜或违规的内容,而运营者用的是单独服务器WIN2008系统在服务器里找了好久都没有发现被篡改的问题,而且公司对这个网站的声誉非常严谨,需要尽快恢复正常访问,这个运营者束手无策后,找到了我们SINE安全寻求服务,我们接手后立马安排安全技术对客户网站的整体情况以及百度收录的情况进行了排查,发现网站在春节期间被入侵篡改收录了大量的违规快照内容,而且服务器里还有其他的网站也同样被篡改,接下来我把处理过程简单总结一下。
技术分享达人
2022/03/16
8180
网站被入侵攻击导致快照收录被劫持
记录一次服务器被挂马的现象
早上接到运营的消息,说客户反馈网站通过搜索引擎打开时,显示为赌博网站。跟以往的情况不同,这次怎么都找不到被篡改的 PHP 文件,最后发现是配置文件被篡改。
jwj
2023/04/07
6K0
记录一次服务器被挂马的现象
2021常见的搜索引擎蜘蛛的User Agent汇总
一般安全专业人士会巧用UA来绕过防火墙、安全设备的UA检测 构造特定的UA来访问一些其他UA无法访问的页面。 构造UA通过僵尸网络完成DDOS攻击,对服务器进行压力测试或者评估。
小唐同学.
2022/03/10
3.6K0
常见网站劫持案例及解析
攻击者在入侵网站后,常常会通过恶意劫持流量来获取收益,从而实现流量变现。有一些黑帽劫持的手法堪称防不胜防,正常的访问行为很难发现异常。今天给大家分享一下常见的网站劫持手法和排查思路。
Bypass
2021/04/12
2.9K0
PHP判断来访者是否是搜索引擎的爬虫
我们可以通过HTTP_USER_AGENT来判断是否是蜘蛛,搜索引擎的蜘蛛都有自己的独特标志,下面列取了一部分。
程序猿的栖息地
2022/04/29
7420
黑帽SEO剖析之手法篇
此系统文章总共分为四篇,分别是手法篇、工具篇、隐藏篇、总结篇;本篇为黑帽SEO之手法篇,主要介绍黑帽seo的概念以及一些常用的手法。   首先得说黑帽SEO是个老话题,我不难想象评论区必定有人吐槽此手法已经由来已久,作者有炒冷饭的嫌疑。我对此观点表示认可,然而细细回味之后,却又感到无奈不解。一个早已被用烂的黑产手法,一个每年给互联网产业造成巨大损失的黑色手段,为何能一直延续至今?是技术上难以攻破,还是利益驱使下选择视而不见?  当我发现公开资源中对此黑产手法的介绍寥寥无几且并不详细时,原因便可想而知了。为了
FB客服
2018/02/27
3.3K0
黑帽SEO剖析之手法篇
访问问候弹窗代码-星泽V社
访问弹窗,根据用户的访问ip来告知大概位置,能告知ip地址,设备帧数 左下角),大概使用的浏览器,以及操作系统。
星泽V社
2022/04/17
8331
访问问候弹窗代码-星泽V社
php记录搜索引擎爬行记录的实现代码
//记录搜索引擎爬行记录 $searchbot = get_naps_bot();
用户8832582
2021/07/13
5570
给博客添加欢迎信息来源
有博友问我这博客第一次打开的欢迎信息怎么做的 话也不多说直接上代码 首先链接一下layer弹框JS
傲绝
2023/03/08
2750
【代码】给Typecho添加访客信息气泡提醒
1、进入管理后台,在“ 插入代码 ”处选“ 自定义增加 ”,或者其他可以输入“ 自定义代码 ”的地方,插入以下代码:
小锋学长生活大爆炸
2023/03/06
5370
【代码】给Typecho添加访客信息气泡提醒
左下角客户端信息和进站欢迎
把这段代码放到后台底部自定义里面即可 需引入jq <script src="https://cdn.bootcdn.net/ajax/libs/jquery/3.5.1/jquery.js"></script> <!-- 客户端信息 --> <style> /* 元素遮罩层不遮挡下方元素的代码 */ .zz_select{ -webkit-pointer-events: none; -moz-pointer-events: none;
R0A1NG
2022/02/19
5190
左下角客户端信息和进站欢迎
网站被跳转到恶意博彩网的木马查杀过程
访问站点只要后面目录带apk(不管是文件还是目录),就会判断请求头,如果为手机移动端的请求头,就会跳转到博彩网站,如果是电脑PC浏览器,就会弹空白页访问站点,让你看不到跳转后的网址,只要域名后面地址带apk(不管是文件还是目录),就会判断请求头,如果为手机移动端的请求头,就会跳转bc网站,如果是电脑浏览器,就会弹空白页,最近也加上客户订单越来越少,领导也是着急,很大一部分客户渠道来源都从百度点击来的,静下心来看看网站到底是怎么回事,不看不要紧,简直吓我一跳。网站在百度里的收录增加许多,本来以为是更新的文章导致的,可是仔细一想也没那么多的收录呀,site:网站,点击到十页以后竟然发现了问题的关键,百度收录了一大堆我们网站没有的URL链接,复制那个我们域名的链接,提示不存在,从百度收录点进去跳转到BC网站。
技术分享达人
2020/12/02
1.3K0
网站被跳转到恶意博彩网的木马查杀过程
判断访问方式添加欢迎信息
希望各位大大可以评论一下小破站 原创文章:https://www.gqink.cn/archives/558/
九霄道长
2021/03/02
6880
如何解决公司网站首页被恶意跳转的安全问题
近日某客户网站被黑,导致网站首页被篡改并跳转到赌博网站,网站在百度的收录也收录了一些什么彩票内容的快照,网站首页快照也被修改成赌博内容,并被百度直接红色风险拦截提示,百度网址安全中心提醒您:该站点可能受到黑客攻击,部分页面已被非法篡改!我们SINE安全公司根据以上客户被黑的情况,立即进行了全面的网站安全检测,针对网站被黑的情况制定了详细的安全部署方案。
网站安全专家
2019/07/24
1.2K0
如何解决公司网站首页被恶意跳转的安全问题
应急响应笔记之Linux篇
整理下自己之前做的应急响应相关的碎片笔记,太多了,没办法全部列出来,先整理一些常用的。
瓦都剋
2020/08/07
1.1K0
2019年搜索引擎蜘蛛爬虫名称最新整理总汇
一般我们的网站能在百度等搜索引擎上搜到,说明该搜索引擎的爬虫爬到了我们的网站并且被搜索引擎收录。
德顺
2019/11/13
6.1K0
2019年搜索引擎蜘蛛爬虫名称最新整理总汇
搜索引擎去广告?SCF来做定制化搜索
在用某度搜索的时候,可能经常遇到这样一个问题:我是谁,我要做什么,以及我做了什么。当然,这只是一句玩笑。现在大部分搜索引擎都有付费推广的内容,我们经常在使用搜索引擎的时候,会被这些付费搜索的东西所干扰,例如,我搜索在线编程这个词条:
None-xiaomi
2019/07/07
1.3K0
掌握搜索引擎技巧,从入门到精通
在这个信息爆炸的时代,如何快速准确地找到所需信息成为一项必备技能。本文将带你深入了解搜索引擎的运作机制,掌握高效的搜索技巧,让你的信息检索能力突飞猛进。
程序员NEO
2025/03/06
3030
掌握搜索引擎技巧,从入门到精通
搜索引擎优化入门
本文适合新手老手,有不对的地方欢迎指正! 如果有什么问题或者建议,请务必留言, :-)
老高的技术博客
2022/12/27
1.1K0
搜索引擎优化入门
相关推荐
html跳转网页代码_迅雷搜索引擎蜘蛛
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验