腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
如何使用
robots.txt
不允许只对子域进行爬行?
、
如果我想我的主要网站上的搜索引擎,但没有
子
域,我应该只是把“不允许所有的”
robots.txt
在目录的
子
域?如果我这样做了,我的主域是否仍然可以爬行?
浏览 0
提问于2012-08-31
得票数 8
1
回答
不允许使用
robots.txt
的
子
域url
、
我有一个
域名
kiosban.com和store.kiosban.com..store.kiosban.com/template/*但当我看到谷歌站长工具...在健康菜单>>阻止的网址上,我得到http:/
浏览 0
提问于2013-04-16
得票数 0
1
回答
Google不小心索引了我的网站
子
文件夹
、
、
我正在使用WordPress,出于测试目的,我制作了一个
子
文件夹作为测试博客,我使用我的主博客数据库进行测试博客,我不鼓励搜索引擎对其进行索引,但过了一段时间后,我用谷歌搜索了我博客的一个主题,我发现已经索引的链接来自测试博客以及如何删除这些404并阻止google对此
子
文件夹进行索引和爬行。或者,有没有办法重定向来自以下位置的任何请求:至 www.myblog.com/topic
浏览 8
提问于2018-07-12
得票数 0
2
回答
这个地址不应该被索引,我如何正确地删除它?
、
、
我有几个子
域名
在我的网站上,我使用的各种用途,我不想/不需要他们被索引的搜索引擎。从一开始,自从我创建这些页面以来,我就添加了一个
robots.txt
文件来
禁止
搜索引擎爬行这些页面。但是关于谷歌,他们有很多帮助文件建议使用
robots.txt
,所以我相信他们尊重这个文件。📷 我怎样才能永远摆脱谷歌上
浏览 0
提问于2011-11-01
得票数 2
回答已采纳
3
回答
隐藏特定文件夹及其
子
文件夹和文件?
、
我想在public_html中隐藏一个名为(
robots.txt
)的文件夹,使搜索引擎看不到它的所有
子
文件夹和文件,我是否必须将文件放在根文件夹(/)中,并像下面这样处理beta中的内容Disallow: /public_html/beta将
robots.txt
放在public_html中,并按如下所示执行内容Disallow: /beta
浏览 1
提问于2013-01-10
得票数 0
1
回答
RewriteCond在.htaccess中搜索域
子
文件夹中的
robots.txt
和sitemap.xml
、
、
我想写一个重写程序,在一个与
域名
匹配的
子
文件夹中搜索
robots.txt
和sitemap.xml文件,不管有没有www。如果有人试图访问文件,我想执行以下操作: ElseIf有一个与
子
文件夹%{DOCUMENT_ROOT}/www.aaa.com/
浏览 1
提问于2013-11-15
得票数 1
回答已采纳
2
回答
Robots.txt
不允许法
、
我试图
禁止
机器人只在特定的
子
页面中爬行查询(例如,www.website.com/subpage/?query=sample)。我正在努力确保/
子
页面/也不会被
禁止
。如果我错了,请纠正我。文件:
robots.txt
Disallow: /subpage/*?
浏览 4
提问于2013-10-21
得票数 1
回答已采纳
5
回答
子目录中的
robots.txt
、
、
http://mydomain.com/myproject/http://mydomain.com/myproject/forbidden/
禁止
禁用文件夹的正确语法是什么?
浏览 0
提问于2011-01-29
得票数 14
回答已采纳
2
回答
在理解如何阻止robot.txt上的某些URL时遇到问题
、
、
问题是这样的。我在我的系统上有一些URL,它们有这样的模式http://bar-editable.mydomain.com/menu3/option1User-agent: Googlebot 它会像我预期的那样工作吗?
浏览 0
提问于2013-06-25
得票数 0
回答已采纳
1
回答
子
域
禁止
通过
robots.txt
搜索机器人
、
、
、
我想
禁止
搜索机器人使用
Robots.txt
和潜在的.htaccess访问整个域,包括
子
域这个是可能的吗?
浏览 0
提问于2012-01-10
得票数 1
1
回答
允许/category但不允许/category/subcategory
我正在尝试在我的
robots.txt
中允许/category。在/category下面是/subpages,我想
禁止
/category之后的任何东西。我已经尝试在
robots.txt
中禁用/category/subpage1和/category/subpage2,但由于
子
页面不断增长,我不想一次又一次地编辑
robots.txt
。
浏览 1
提问于2015-10-23
得票数 3
2
回答
Robots.txt
拒绝除一个域之外的所有域
有没有办法拒绝除一个域之外的所有机器人?我希望搜索引擎不爬行,除非它是一个特定的领域。
浏览 1
提问于2013-10-24
得票数 0
2
回答
如何在Laravel中拥有不同的
robots.txt
文件
子
域和主域?
、
、
我有一个laravel项目,在routes/web.php中有一个主域和一个
子
域设置,如下所示: Route::group(array('domain' => '{account}.example.comroutes // domain routes }); 如何将主域和
子
域的
robots.txt</em
浏览 42
提问于2021-02-11
得票数 0
回答已采纳
6
回答
rails中子域的多个
robots.txt
、
我有一个具有多个子域的网站,我希望命名的
子
域
robots.txt
是不同于www的。map.connect '/
robots.txt
', :controller => ?, :path => '/robots.www.txt', :conditions => { :subdomain => 'www'
浏览 1
提问于2010-05-01
得票数 9
回答已采纳
1
回答
我能否在
子
域中放置一个
robots.txt
文件,它只会影响
子
域,而不会影响根域?
、
、
我能否在
子
域中放置一个
robots.txt
文件,它只会影响
子
域,而不会影响根域?我有example.com和mysubdomain.example.com。mysite.com已经有了一个执行自己指令的
robots.txt
。我可以通过在自己的文件夹中放置一个mysubdomain.example.com而不影响我的主域example.com来
禁止
所有的机器人进入它吗?
浏览 0
提问于2014-10-15
得票数 4
回答已采纳
1
回答
让Google知道生产、开发和分阶段环境之间的区别的最好方法是什么?
、
、
、
我们有三个
域名
,非常接近重复的内容(他们是Magento网站)。我们叫他们production.com,development.com和staging.com。谷歌对这些
域名
的搜索显示,它们还没有被索引。然而,当我登录到软件的后端时,我开始收到来自Chrome的钓鱼警告。 我要尽快阻止这一切。如果警告蔓延到前端,我们将看到相当严重的后果。
浏览 0
提问于2013-12-06
得票数 2
2
回答
排除一个
子
域,使其不被
Robots.txt
爬网
、
、
、
我试图更改我的
Robots.txt
文件,但似乎我做得不对。
子
域名
:User-agent: *我错过了什么?
浏览 13
提问于2014-03-07
得票数 0
3
回答
如何从google索引中删除链接到主域的
子
域
、
、
谁能告诉我如何从谷歌索引删除
子
域,这链接到主域。 假设我的域是www.myweb.com,我的
子
域是cdn.myweb.com。现在,
子
域的Document Root与主域相同。
浏览 0
提问于2013-02-10
得票数 2
回答已采纳
4
回答
加载域是否会影响SEO
、
、
假设main.com是我的主域,addon.com是我的附加
域名
,它指向一个名为" addon“的子目录。 我可以通过以下三种方式访问addon.com。
浏览 4
提问于2012-02-23
得票数 3
1
回答
子
域扫描保护
、
、
我已经看到,我们所有的
子
域都可以在像dnsdumpster这样的网站帮助下被扫描。保护任何网站的
子
域不被扫描或通过像dnsdumpster这样的站点显示的最佳方法是什么。即使我们将其添加到
Robots.txt
中,
子
域名
URL仍然可供任何知道网站网址的人使用。
浏览 0
提问于2019-04-16
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Degen ENS子域名已上线
SEO实操方法之网站结构优化,你知道404和301吗?
Subfinder:一个子域名发现工具,可以为任何目标枚举海量的有效子域名
Degen:Degen ENS子域名现已上线
二级域名收录难,那么如何快速收录?
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券