Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >SEO分享:让百度删除不想收录的域名或快照的最快方法

SEO分享:让百度删除不想收录的域名或快照的最快方法

作者头像
张戈
发布于 2018-03-26 06:03:27
发布于 2018-03-26 06:03:27
4.9K10
代码可运行
举报
文章被收录于专栏:张戈的专栏张戈的专栏
运行总次数:0
代码可运行

个别网站可能会出现以下类似困扰:

①、百度收录了自己不想收录的域名,造成内容重复,比如张戈博客,百度近一半的收录是 www 的域名,而且收录的内容还是重复的!实际上张戈博客的首选域名是不带 www,就算一开始就做了 301,也被百度无视了;

②、网站中途才设置的伪静态,收录正常后发现依然存在旧的动态链接,想删除之;

③、百度收录了虚拟主机自带的三级域名,想删除之;

④、网站改版,如精简分类数量、修改分类名称,造成了 url 死链,想删除之;

先具体说一下张戈博客是如何解决第①个困扰的:

前些天分享的《彻底禁止搜索引擎收录非首选域名的方法》,实际上仅适合新站设置,而我这种中途做禁止设置的网站,只会收到来自百度的 robots 禁封提醒,而不会删除之前的收录:

那我该如何彻底删除这些重复收录呢?

方法很简单,利用百度站长平台的闭站保护功能即可。经多次尝试,张戈博客 www 域名重复收录终于全部清空了!

下面说下具体方法:

一、去掉 robots 限制

如果之前对该域名做过 robots 禁封的话,需要先解除限制,删除 robots 即可。因为,你都不让百度抓取了,百度当然不知道你这些链接还能不能用,该不该删?他只会认为你是粗心误操作了 robots 而已。

二、设置 404 状态

经测试,百度的闭站功能申请通过的前提条件是,所有链接必须是 404 死链状态,否则无法通过:

所以,我们先对那些已收录的非首选域名,设置 404 返回码,即死链状态,如果之前设置了 301,记得要取消掉!

①、Nginx

如下修改之前非首选域名的监听设置:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
server
         {
                server_name www.zhangge.net;
                root  /home/wwwroot/zhangge.net;
                location / {
                        #全部返回404
                        return 404;
                        }
}

 ②、PHP 通用

将以下代码添加到网站的 head 部分

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<?php if($_SERVER['HTTP_HOST'] == 'www.zhangge.net') { ?>
header('HTTP/1.1 404 Not Found');
header("status: 404 Not Found");
<?php } ?>

 ③、ASP 通用

同样的将以下代码添加到网站 head 部分(注意是动态模板,而不是静态页)

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<% 
   if Request.ServerVariables("SERVER_NAME")="www.zhangge.net" then 
   Response.Status = "404 Not Found"  
   end if
%>

设置完成后,记得手动访问测试下效果。

三、闭站申请

404 确认无误之后,打开百度站长平台的抓取频率,选择闭站保护

http://zhanzhang.baidu.com/pressure/close

然后,选择你要关闭的非首选域名,比如 www.zhangge.net,最后在下方继续勾选 www.zhangge.net,提交即可!切记不要提交带星号(*)的选项,那是指所有相关域名!

大概 2 天左右,就收到了闭站申请通过的通知:

可以看到,张戈前后测试了 3 次,前 2 次测试提交时,采用的是 403 或者是仅针对搜索引擎的 404 设置,结果都没通过!看来,闭站保护是采用人工审核的,而非机器!

Ps:闭站是对整个域名删除的最快方法,但如果是删除部分收录,那就得使用百度站长平台的死链提交功能。

四、补刀设置

现在再去 site 非首选域名,发现已全部删除干净:

我的目的已经达到!为了保持用户体验,现在需要恢复之前的 301 跳转和 robots 禁封设置:

参考之前写的的《彻底禁止搜索引擎收录非首选域名的方法》,重新设置了 robots 禁止收录和 301 跳转。现在,只要我不去申请闭站恢复,我相信百度再也不会收录 www 域名了!

五、写在最后

看完针对困扰①的解决办法,相信其他困扰也可以依葫芦画瓢的做好相应处理。

原理很简单,你想要删除哪个快照或域名,只需要将这些对象设置为 404 死链状态,然后去百度站长平台做死链提交即可,一般 2~3 天就能立竿见影。至于,如何设置 404 死链状态,则需要对症下药,方法不尽相同,张戈就不赘述了。当然,你有任何需要都可以去留言板留言告知。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2014年09月30日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
1 条评论
热度
最新
我的也很久没收录,不知道搞什么鬼。http://blog.welau.top
我的也很久没收录,不知道搞什么鬼。http://blog.welau.top
回复回复点赞举报
推荐阅读
编辑精选文章
换一批
SEO分享:彻底禁止搜索引擎收录非首选域名的方法
众所周知,绝大多数网站都会有一个首选域名,从用户体验考虑,通常站长们还会另外解析一个域名,并设置 301 重定向。例如,用户未输入 www 的时候,仍然可以访问到我们的网站,就像访问 http://b
张戈
2018/03/23
4.6K0
移动搜索SEO分享:PHP自动生成百度开放适配及360移动适配专用的Sitemap文件
导读 随着智能手机的高速普及,人们将更多时间放到了手机上,麻利的做着以前只能在电脑上才能完成的购物、聊天、信息获取等事情。如此一来,站长们对移动端的 SEO 也就越来越关注。当然,也各大搜索引擎也开始发力移动搜索,比如百度近期推出的2014 网站移动化大赛和开放适配、360 推出的移动适配等。而张戈对于移动适配也是关注已久,写过不少相关文章,现在就来分享一个通过 php 自动生成百度开放适配和 360 移动适配的专用 sitemap 文件的方法。 先再次回顾下,张戈关于百度开放适配和 360 移动适配的历次
张戈
2018/03/26
1.5K0
移动搜索SEO分享:PHP自动生成百度开放适配及360移动适配专用的Sitemap文件
备案不被K:利用关站保护或搜索引擎线路解析确保无痛备案
最新消息:张戈博客已分享更完善的无痛备案技巧,欢迎查看!==>http://zhangge.net/5017.html 相信很多站长不想备案的绝大部分原因有 2 个:要不就是嫌麻烦,要不就是中途关站影响 SEO。 嫌麻烦,那就没办法了,天朝特色。下面分享一下2 种备案不影响 SEO 的方法。 一、利用闭站功能 其实这个消息出来已经好几天了,不过还是发文记录下。 百度站长平台要推出备案关站功能的消息貌似在上个月还是更久,就已经预告了。 相信没备案的站长,对于这个功能还是挺期待的,毕竟百度搜索绝对是国内做 SE
张戈
2018/03/23
2.5K0
说说Robots.txt限制收录与Google网站管理员工具
最近有朋友询问:用谷歌site你的站发现Google没收录你的tag页,我的怎么?有还大部分是 ?站长认为,很多新手估计都不明其中的道理,索性就写篇文章吧。
星哥玩云
2022/08/13
6440
说说Robots.txt限制收录与Google网站管理员工具
搜索引擎自动提交连接php文件,死链检测工具(自动提交给百度,逆天了)
每个网站都避免不了404死链的存在。造成死链的原因有很多,比如说文章页被删除、链接被修改、网页链接更换存储路径等,这些都会成为死链。这些死链的产生,降低了搜索引擎对网站的友好度、影响用户体验,甚至会导致网站排名下降等。刚操作MAY博客的时候,文章的内容不是很多,遇到死链,只是简单的手动一个个去站长平台提交。但随着文章及页面的不断增加,一个个手动去操作,是不是麻烦了些。咦,是否能借助死链检测工具,自动提交给百度?
全栈程序员站长
2022/09/15
5610
造成Baiduspider(百度蜘蛛)抓取网站异常的原因有哪些
有一些网页,内容优质,用户也可以正常访问,但是Baiduspider却无法正常访问并抓取,造成搜索结果覆盖率缺失,对百度搜索引擎对站点都是一种损失,百度把这种情况叫“抓取异常”。对于大量内容无法正常抓取的网站,百度搜索引擎会认为网站存在用户体验上的缺陷,并降低对网站的评价,在抓取、索引、排序上都会受到一定程度的负面影响,影响到网站从百度获取的流量。
高级优化师
2019/10/26
2.3K0
造成Baiduspider(百度蜘蛛)抓取网站异常的原因有哪些
网站SEO优化步骤超详细完整版教程
一、准备 1、心态 长时间,不断学习。学习建站、基础代码、SEO全过程、实际操作并成功。
宜轩
2022/12/29
1.9K0
SEO分享:彻底禁止搜索引擎抓取/收录动态页面或指定路径的方法
最近张戈博客收录出现异常,原因并不明朗。我个人猜测存在如下几个直接原因: 更换主题,折腾时带来过多错误页面或间歇性访问错误; 直接线上折腾 Nginx 缓存和缩略图,可能导致间歇性大姨妈; 新发文章瞬间被转载,甚至是整站被采集,可能导致“降权”; 百度居然开始收录动态页面,而且还在持续抓取动态页面。 对于前三个,已发生的已无法改变,要发生的也无法阻止。对于转载和采集,我也只能在 Nginx 加入 UA 黑名单和防盗链机制,略微阻碍一下了,但是实际起不到彻底禁止作用,毕竟整个天朝互联网大环境就是这样一个不好
张戈
2018/03/23
2.2K0
SEO分享:彻底禁止搜索引擎抓取/收录动态页面或指定路径的方法
移动搜索SEO分享:利用Meta声明来做百度开放适配
 前天,张戈博客终于搞定了网站静态缓存下的移动端站点切换,从而也多了一个移动二级域名。于是又开始纠结这个 2 二级域名是否需要屏蔽搜索引擎的收录,毕竟内容一摸一样。 听 SEOer 们说,搜索引擎会将二级域名视为不同的 2 个站点,如此一来,我的移动站点是否要做相应的处理,就值得深思了。(如有清楚的站长,请告知,多谢~) 然而,就在今天百度搜索相关资料的时候,发现百度开放适配居然有三种方法...... 之前只注意到了百度开放适配的 sitemap 提交方法,张戈前后折腾了如下几篇文章: 1、百度开放适配专用
张戈
2018/03/26
1.5K0
移动搜索SEO分享:利用Meta声明来做百度开放适配
百度快照更新是什么意思啊_百度快照和百度推广的区别
最近发现有很多刚入SEO行业的新手对网站seo的技巧有很多的误区,比如网站快照不更新就代表网站被惩罚。关于这个观点我们先看看什么是百度快照?百度快照的作用是什么?我们有该如何让百度快照持续更新呢?
全栈程序员站长
2022/11/10
1K0
网站SEO提高百度谷歌收录和排名
SEO并不深奥,SEO最重要的是要有耐心、恒心。不少新手建站时都会遇到网站SEO问题,如何提高百度、Google等搜索引擎的收录和排名,是一件很头疼的事。本文将从域名、链接、标题、关键词、外链等多个方面谈谈网站SEO的方法,希望对建站新手有所帮助。
星哥玩云
2022/08/13
9040
服务器反爬虫攻略:Apache/Nginx/PHP禁止某些User Agent抓取网站
我们都知道网络上的爬虫非常多,有对网站收录有益的,比如百度蜘蛛(Baiduspider),也有不但不遵守 robots 规则对服务器造成压力,还不能为网站带来流量的无用爬虫,比如宜搜蜘蛛(YisouSpider)(最新补充:宜搜蜘蛛已被 UC 神马搜索收购!所以本文已去掉宜搜蜘蛛的禁封!==>相关文章)。最近张戈发现 nginx 日志中出现了好多宜搜等垃圾的抓取记录,于是整理收集了网络上各种禁止垃圾蜘蛛爬站的方法,在给自己网做设置的同时,也给各位站长提供参考。 一、Apache ①、通过修改 .htacce
张戈
2018/03/23
2.5K0
SEO技巧:Shell脚本自动提交网站404死链到搜索引擎
最近在折腾博客主题,通常来说大多数人认为换主题会影响 SEO,实际上只要你把工作都做到位了,是没有任何问题的。比如,换主题后你得仔细检查标题和描述等内容是否发生改变、换主题后是否带来了大量的 404
张戈
2018/03/23
1.3K0
SEO技巧:Shell脚本自动提交网站404死链到搜索引擎
浅析网站百度不收录是什么原因?
一般公司新建立制作网站后兴致勃勃的更新,坚持呀,坚持呀,通过洗稿、搬砖、伪原创、原创等手段进行网站文章更新,坚持很久,很多网站百度收录一般要么是加www或不加www得两个首页,要么就是收录的数量是个位数,这是是什么原因呢?下面就由南阳世惠诚科技有限公司的小惠小编为广大产生这种疑惑的网友具体分析下关于“浅析网站百度不收录是什么原因?”的详细分析。
用户11573735
2025/03/21
840
浅析网站百度不收录是什么原因?
关于全部已知导致百度索引量下降的原因分析及解决方案
索引量是流量的基础,索引量数据的每一个变动都拨动着站长敏感的神经,“索引量下降之后该如何着手分析”一直是各位讨论的热门话题。这次站长社区版主老吕又拔刀相助了,看看史上最全的百度索引量下降原因分析及解决方案吧。
高级优化师
2019/10/17
1.5K0
关于全部已知导致百度索引量下降的原因分析及解决方案
酒香也怕巷子深,教你一招,轻松让百度收录你的个人站点
俗话说,酒香不怕巷子深,可是对于我们写技术文章的小伙伴,酒香也怕巷子深呀,为什么呢?
Mculover666
2020/07/16
1K0
酒香也怕巷子深,教你一招,轻松让百度收录你的个人站点
反爬虫攻略:Apache/Nginx/PHP禁止某些User Agent抓取网站
我们都知道网络上的爬虫非常多,有对网站收录有益的,比如百度蜘蛛(Baiduspider),也有不但不遵守robots规则对服务器造成压力,还不能为网站带来流量的无用爬虫,比如宜搜蜘蛛(YisouSpider)(最新补充:宜搜蜘蛛已被UC神马搜索收购!所以本文已去掉宜搜蜘蛛的禁封!==>相关文章)。最近张戈发现nginx日志中出现了好多宜搜等垃圾的抓取记录,于是整理收集了网络上各种禁止垃圾蜘蛛爬站的方法,在给自己网做设置的同时,也给各位站长提供参考。
菲宇
2019/07/31
2.1K0
反爬虫攻略:Apache/Nginx/PHP禁止某些User Agent抓取网站
网站快照被攻击收录大量垃圾内容
距离2022年元旦约越来越近,我们发现很多网站用IIS环境尤其是aspx+sqlserver架构的网站总是被攻击,具体症状首先是接到阿里云的通知说是有违规URL通知,然后过了几天发现百度site网站域名,多了很多与网站本身内容不相关的垃圾快照内容,从百度点击这个快照地址进去后显示404找不到页面,但从百度站长工具里抓取页面就能看到内容,说明攻击者对搜索引擎的UA标识做了判断进行混淆,导致从肉眼看不出任何问题,但快照依然在继续增加新收录。
技术分享达人
2021/12/02
1K0
WordPress发布文章主动推送到百度,加快收录保护原创
工作实在太忙,也没时间打理网站。最近公司额外交待了一些网站 SEO 方面的优化任务让我关注(这就是啥都要会、啥都要做的苦逼运维的真实写照了...)。 于是抽空看了下百度站长平台,至少看到了 2 个新消
张戈
2018/03/23
1.6K0
WordPress发布文章主动推送到百度,加快收录保护原创
替换WordPress默认搜索为百度站内搜索(知更鸟主题可照搬)
今天,中国博客联盟 QQ 群里的【58 说】博友提到百度站长平台推出绿色收录通道了。连忙登陆站长平台看了下,意外的发现张戈博客已开通了站内搜索功能。之前确实给管理员发邮件申请过,不过一直没有邮件回复,
张戈
2018/03/23
2.6K0
推荐阅读
相关推荐
SEO分享:彻底禁止搜索引擎收录非首选域名的方法
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验