腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
0
回答
为什么
robots
.txt更改后谷歌还是提示
robots
封禁?
、
前几天上线了一个新网站http://www.golf-clothes.com 因为一开始在编辑模板以及填充内容,就设置了
robots
禁止
蜘蛛访问,为什么我现在修改了
robots
文件,好几天了谷歌还是提示
robots
禁止
呢?
浏览 140
提问于2020-10-15
1
回答
如果header x-
robots
.txt设置为noindex,no follow,是否有必要使用
robots
?
、
、
、
我正在尝试阻止我的网站被索引/列出:Header set X-
Robots
-Tag "noindex, nofollow"Disallow: / 添加
robots
.txt有什么坏处吗?
浏览 4
提问于2016-08-19
得票数 0
1
回答
Google不小心索引了我的网站子文件夹
、
、
我正在使用WordPress,出于测试目的,我制作了一个子文件夹作为测试博客,我使用我的主博客数据库进行测试博客,我不鼓励搜索引擎对其进行索引,但过了一段时间后,我用谷歌搜索了我博客的一个主题,我发现已经索引的链接来自测试博客,然后我检查了搜索控制台,有一堆来自这个测试博客的链接生成了404,因为我已经删除了这个子文件夹...那么google会不会用测试博客链接来替换我的博客链接呢?以及如何删除这些404并阻止google对此子文件夹进行索引和爬行。Www.myblog.com/子文件夹/主题www.myblog.com/topic
浏览 8
提问于2018-07-12
得票数 0
4
回答
如何
禁止
来自
robots
.txt的特定页面
我会在
robots
.txt文件中这样做吗?
禁止
: /wp-admin 我如何定制到特定的页面,如:
浏览 0
提问于2010-08-15
得票数 33
1
回答
如何捕捉被
robots
.txt
禁止
的?
、
如何在scrapy中捕获被
robots
.txt
禁止
的请求?通常情况下,这似乎会被自动忽略,即输出中没有任何内容,所以我真的不知道这些urls发生了什么。理想情况下,如果爬行一个url导致了这个被
robots
.txt
禁止
的错误,我想输出一个类似{'url': url, 'status': 'forbidden by
robots
.txt'}的记录。
浏览 1
提问于2017-05-26
得票数 1
3
回答
隐藏特定文件夹及其子文件夹和文件?
、
我想在public_html中隐藏一个名为(
robots
.txt )的文件夹,使搜索引擎看不到它的所有子文件夹和文件,我是否必须将文件放在根文件夹(/)中,并像下面这样处理beta中的内容Disallow: /public_html/beta将
robots
.txt放在public_html中,并按如下所示执行内容Disallow: /beta
浏览 1
提问于2013-01-10
得票数 0
1
回答
尝试从Github页面抓取数据
、
127.0.0.1:60232017-01-18 02:29:46 [scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by
robots
.txt
浏览 2
提问于2017-01-18
得票数 2
1
回答
Robots
.txt阻止对所有https://页面的访问
阻止所有机器人访问https:// pages的语法是什么?我有一个旧网站,现在没有SSL,我想阻止访问所有https://页面
浏览 2
提问于2009-04-25
得票数 3
回答已采纳
1
回答
为ASP.NET MVC站点创建
robots
.txt
、
、
、
我正在为我的网站创建一个
robots
.txt文件,但是查看我的项目结构,我不确定要
禁止
什么。我是否需要
禁止
标准的.NET MVC目录和文件,如/App_Data,/web.config,/Controllers,/Models,/Global.asax?或者那些还没有被索引的内容呢?如果我想
禁止
一个页面,我应该
禁止
/Views/MyPage/Index.cshtml还是/MyPage?另外,当在
robots<
浏览 1
提问于2011-10-29
得票数 2
回答已采纳
1
回答
想要通过htaccess将urls添加到
robots
.txt
、
、
我有一个可湿性粉剂网站,目前通过一个插件通过.htaccess重定向几个链接,并想通过相同的htaccess文件添加原始的重定向链接到
robots
.txt。探测-pre-attack-1//send-pre/重定向/探测-pre-attack-3//send-pre/用户代理:*
禁止
:/probing
浏览 3
提问于2014-10-15
得票数 0
1
回答
块1仅来自搜索引擎的2个域
、
、
、
、
我在同一个服务器和同一个目录中托管两个域。我想阻止1的领域从搜索引擎,但不想阻止另一个。www.site1.com和www.site2.com我该怎么做?有什么线索吗?
浏览 3
提问于2014-06-23
得票数 3
回答已采纳
1
回答
RewriteRule意义
、
、
我猜它是否允许代理访问
robots
.txt,但如果它试图访问其他所有内容,则会阻塞? RewriteRule !^
robots
\.txt$ - [F]
浏览 0
提问于2014-09-30
得票数 1
回答已采纳
1
回答
不希望包含的文件内容被爬网
、
、
我已经“
禁止
”了
robots
.txt文件中的页脚文件,并且在头部添加了一个标记。 这是否足以防止该部分内容被爬取?我读到过一个iFrame技巧,如果我所做的还不够充分,我可能会尝试一下。
浏览 0
提问于2014-05-01
得票数 0
2
回答
如何阻止Google索引或跟踪目录中的任何内容
、
、
、
、
我有一个WordPress站点和一个iframe,它的源是'‘。我不得不下载iframed网站,因为我在其中修改了一些东西,这需要同源。这个网址没有反向链接--只有一个iframe src‘s到它,然而,我看到Google已经对它进行了索引(糟糕!)
浏览 34
提问于2017-05-09
得票数 0
1
回答
机器人不访问元标记和开放图
、
、
、
我们没有“
禁止
跟踪”的标签。crossorigin=""><meta charset="utf-8"><meta name="viewport" content="width=device-width"><meta name="
robots
浏览 1
提问于2021-12-17
得票数 -2
5
回答
使用Perl检查url是否被
robots
.txt阻止
谁能告诉我检查url是否已被
robots
.txt阻止的示例代码?我们可以在
robots
.txt中指定完整的url或目录。Perl中有没有helper函数?
浏览 0
提问于2011-05-31
得票数 0
回答已采纳
3
回答
如何防止ASP.NET图表控件图像被索引?
、
我的公共网站上有一些显示由ASP.NET图表控件生成的图表的页面。如何防止它们被Google和其他搜索引擎索引?
浏览 1
提问于2010-02-23
得票数 0
回答已采纳
1
回答
我的
robots
.txt文件中是否存在以下语法,阻止所有爬虫对我的站点进行索引?
它当前在我的
robots
.txt文件中: User-agent:*#
禁止
其他所有人
禁止
:/ 问题--对于我这个新手来说,看起来"Disallow: /“会阻止Google/MSN/等索引我的站点。
浏览 14
提问于2021-01-01
得票数 0
1
回答
robots
.txt htaccess屏蔽谷歌
、
、
(tpl|txt)$">Deny from all这会拒绝读取任何文本文件,但Google搜索引擎会给出以下错误:如何修改.htaccess以允许谷歌读取
robots
.txt,同时
禁止
其他任何人访问文本文件
浏览 6
提问于2011-09-20
得票数 4
回答已采纳
3
回答
我应该
禁止
蜘蛛吗?
、
、
我一直在看的rails模板脚本会自动在
robots
.txt中添加User-Agent:和Dissalow:,从而
禁止
所有蜘蛛进入网站
禁止
蜘蛛有什么好处,你为什么要这么做?
浏览 0
提问于2010-10-04
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
ROBOTS怎么写?ROBOTS禁止收录写法、详细说明
二级域名收录难,那么如何快速收录?
二级域名如何定义?
二级域名是啥
SEO正式操作之robots.txt
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券