腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
不允许使用
robots
.txt的子域url
、
我有一个
域名
kiosban.com和store.kiosban.com..store.kiosban.com/template/*但当我看到谷歌站长工具...在健康菜单>>阻止的网址上,我得到http:/
浏览 0
提问于2013-04-16
得票数 0
1
回答
让Google知道生产、开发和分阶段环境之间的区别的最好方法是什么?
、
、
、
我们有三个
域名
,非常接近重复的内容(他们是Magento网站)。我们叫他们production.com,development.com和staging.com。谷歌对这些
域名
的搜索显示,它们还没有被索引。然而,当我登录到软件的后端时,我开始收到来自Chrome的钓鱼警告。 我要尽快阻止这一切。如果警告蔓延到前端,我们将看到相当严重的后果。
浏览 0
提问于2013-12-06
得票数 2
3
回答
如何使用
robots
.txt不允许只对子域进行爬行?
、
如果我想我的主要网站上的搜索引擎,但没有子域,我应该只是把“不允许所有的”
robots
.txt在目录的子域?如果我这样做了,我的主域是否仍然可以爬行?
浏览 0
提问于2012-08-31
得票数 8
0
回答
为什么
robots
.txt更改后谷歌还是提示
robots
封禁?
、
前几天上线了一个新网站http://www.golf-clothes.com 因为一开始在编辑模板以及填充内容,就设置了
robots
禁止
蜘蛛访问,为什么我现在修改了
robots
文件,好几天了谷歌还是提示
robots
禁止
呢?
浏览 140
提问于2020-10-15
2
回答
这个地址不应该被索引,我如何正确地删除它?
、
、
我有几个子
域名
在我的网站上,我使用的各种用途,我不想/不需要他们被索引的搜索引擎。从一开始,自从我创建这些页面以来,我就添加了一个
robots
.txt文件来
禁止
搜索引擎爬行这些页面。但是关于谷歌,他们有很多帮助文件建议使用
robots
.txt,所以我相信他们尊重这个文件。📷 我怎样才能永远摆脱谷歌上的这个索引结果呢?
浏览 0
提问于2011-11-01
得票数 2
回答已采纳
1
回答
根据域将example.txt重写为另一个
我使用多安装我的网页与两个不同的
域名
,我需要为每个
域名
一个唯一的
robots
.txt 像https://www.domain1.tdl/
robots
.txt应该使用https://www.domain1.tdl/
robots
_domain1.txt 和 https://www.domain2.tdl/
robots
.txt应使用https://www.domain2.tdl
浏览 13
提问于2019-05-22
得票数 0
1
回答
如果header x-
robots
.txt设置为noindex,no follow,是否有必要使用
robots
?
、
、
、
我正在尝试阻止我的网站被索引/列出:Header set X-
Robots
-Tag "noindex, nofollow"Disallow: / 添加
robots
.txt有什么坏处吗?
浏览 4
提问于2016-08-19
得票数 0
1
回答
Google不小心索引了我的网站子文件夹
、
、
我正在使用WordPress,出于测试目的,我制作了一个子文件夹作为测试博客,我使用我的主博客数据库进行测试博客,我不鼓励搜索引擎对其进行索引,但过了一段时间后,我用谷歌搜索了我博客的一个主题,我发现已经索引的链接来自测试博客,然后我检查了搜索控制台,有一堆来自这个测试博客的链接生成了404,因为我已经删除了这个子文件夹...那么google会不会用测试博客链接来替换我的博客链接呢?以及如何删除这些404并阻止google对此子文件夹进行索引和爬行。Www.myblog.com/子文件夹/主题www.myblog.com/topic
浏览 8
提问于2018-07-12
得票数 0
4
回答
如何
禁止
来自
robots
.txt的特定页面
我会在
robots
.txt文件中这样做吗?
禁止
: /wp-admin 我如何定制到特定的页面,如:
浏览 0
提问于2010-08-15
得票数 33
2
回答
Robots
.txt拒绝除一个域之外的所有域
有没有办法拒绝除一个域之外的所有机器人?我希望搜索引擎不爬行,除非它是一个特定的领域。
浏览 1
提问于2013-10-24
得票数 0
4
回答
加载域是否会影响SEO
、
、
假设main.com是我的主域,addon.com是我的附加
域名
,它指向一个名为" addon“的子目录。 我可以通过以下三种方式访问addon.com。
浏览 4
提问于2012-02-23
得票数 3
1
回答
如何捕捉被
robots
.txt
禁止
的?
、
如何在scrapy中捕获被
robots
.txt
禁止
的请求?通常情况下,这似乎会被自动忽略,即输出中没有任何内容,所以我真的不知道这些urls发生了什么。理想情况下,如果爬行一个url导致了这个被
robots
.txt
禁止
的错误,我想输出一个类似{'url': url, 'status': 'forbidden by
robots
.txt'}的记录。
浏览 1
提问于2017-05-26
得票数 1
1
回答
.htaccess允许https非www,仅在http上强制www
、
、
、
、
有问题与贝宝订阅持有旧的https://example.com
域名
在贝宝订阅配置文件,不能改变,除非取消和重新订阅。可以工作,但由于我需要https://example.com为Paypal工作,我不确定如何在HTTPS域上允许无www而不重定向到HTTP主机(http://www.example.com)这是
浏览 1
提问于2011-01-28
得票数 2
回答已采纳
1
回答
子目录可以覆盖父域的
robots
.txt吗?
我的问题是:如果sith.edu将不允许/rogueone添加到他们的
robots
.txt中,/rogueone可以使用自己的
robots
.txt来覆盖这种效果吗?还是谷歌会遵守父
域名
的
robots
.txt不允许规则?
浏览 0
提问于2020-07-13
得票数 1
回答已采纳
3
回答
隐藏特定文件夹及其子文件夹和文件?
、
我想在public_html中隐藏一个名为(
robots
.txt )的文件夹,使搜索引擎看不到它的所有子文件夹和文件,我是否必须将文件放在根文件夹(/)中,并像下面这样处理beta中的内容Disallow: /public_html/beta将
robots
.txt放在public_html中,并按如下所示执行内容Disallow: /beta
浏览 1
提问于2013-01-10
得票数 0
1
回答
尝试从Github页面抓取数据
、
127.0.0.1:60232017-01-18 02:29:46 [scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by
robots
.txt
浏览 2
提问于2017-01-18
得票数 2
2
回答
Robots
.txt文件
我在我的
robots
.txt文件中使用了以下代码:但是,我的一个竞争对手正在使用他的网站在谷歌和排名第一的位置上表现很好
robots
.txt文件无关紧要吗?
浏览 2
提问于2015-06-06
得票数 1
1
回答
Robots
.txt阻止对所有https://页面的访问
阻止所有机器人访问https:// pages的语法是什么?我有一个旧网站,现在没有SSL,我想阻止访问所有https://页面
浏览 2
提问于2009-04-25
得票数 3
回答已采纳
1
回答
为ASP.NET MVC站点创建
robots
.txt
、
、
、
我正在为我的网站创建一个
robots
.txt文件,但是查看我的项目结构,我不确定要
禁止
什么。我是否需要
禁止
标准的.NET MVC目录和文件,如/App_Data,/web.config,/Controllers,/Models,/Global.asax?或者那些还没有被索引的内容呢?如果我想
禁止
一个页面,我应该
禁止
/Views/MyPage/Index.cshtml还是/MyPage?另外,当在
robots<
浏览 1
提问于2011-10-29
得票数 2
回答已采纳
1
回答
想要通过htaccess将urls添加到
robots
.txt
、
、
我有一个可湿性粉剂网站,目前通过一个插件通过.htaccess重定向几个链接,并想通过相同的htaccess文件添加原始的重定向链接到
robots
.txt。探测-pre-attack-1//send-pre/重定向/探测-pre-attack-3//send-pre/用户代理:*
禁止
:/probing
浏览 3
提问于2014-10-15
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
ROBOTS怎么写?ROBOTS禁止收录写法、详细说明
新网站上线需要做的优化工作有哪些
二级域名收录难,那么如何快速收录?
SEO实操方法之网站结构优化,你知道404和301吗?
SEO正式操作之robots.txt
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券