腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
不允许使用
robots.txt
的子域url
、
我有一个
域名
kiosban.com和store.kiosban.com..store.kiosban.com/template/*但当我看到谷歌站长工具...在健康菜单>>阻止的网址上,我得到http:/
浏览 0
提问于2013-04-16
得票数 0
1
回答
让Google知道生产、开发和分阶段环境之间的区别的最好方法是什么?
、
、
、
我们有三个
域名
,非常接近重复的内容(他们是Magento网站)。我们叫他们production.com,development.com和staging.com。谷歌对这些
域名
的搜索显示,它们还没有被索引。然而,当我登录到软件的后端时,我开始收到来自Chrome的钓鱼警告。 我要尽快阻止这一切。如果警告蔓延到前端,我们将看到相当严重的后果。
浏览 0
提问于2013-12-06
得票数 2
3
回答
如何使用
robots.txt
不允许只对子域进行爬行?
、
如果我想我的主要网站上的搜索引擎,但没有子域,我应该只是把“不允许所有的”
robots.txt
在目录的子域?如果我这样做了,我的主域是否仍然可以爬行?
浏览 0
提问于2012-08-31
得票数 8
2
回答
这个地址不应该被索引,我如何正确地删除它?
、
、
我有几个子
域名
在我的网站上,我使用的各种用途,我不想/不需要他们被索引的搜索引擎。从一开始,自从我创建这些页面以来,我就添加了一个
robots.txt
文件来
禁止
搜索引擎爬行这些页面。但是关于谷歌,他们有很多帮助文件建议使用
robots.txt
,所以我相信他们尊重这个文件。📷 我怎样才能永远摆脱谷歌上的这个索引结果呢?
浏览 0
提问于2011-11-01
得票数 2
回答已采纳
1
回答
Google不小心索引了我的网站子文件夹
、
、
我正在使用WordPress,出于测试目的,我制作了一个子文件夹作为测试博客,我使用我的主博客数据库进行测试博客,我不鼓励搜索引擎对其进行索引,但过了一段时间后,我用谷歌搜索了我博客的一个主题,我发现已经索引的链接来自测试博客,然后我检查了搜索控制台,有一堆来自这个测试博客的链接生成了404,因为我已经删除了这个子文件夹...那么google会不会用测试博客链接来替换我的博客链接呢?以及如何删除这些404并阻止google对此子文件夹进行索引和爬行。Www.myblog.com/子文件夹/主题www.myblog.com/topic
浏览 8
提问于2018-07-12
得票数 0
1
回答
如何捕捉被
robots.txt
禁止
的?
、
如何在scrapy中捕获被
robots.txt
禁止
的请求?通常情况下,这似乎会被自动忽略,即输出中没有任何内容,所以我真的不知道这些urls发生了什么。理想情况下,如果爬行一个url导致了这个被
robots.txt
禁止
的错误,我想输出一个类似{'url': url, 'status': 'forbidden by
robots.txt
'}的记录。
浏览 1
提问于2017-05-26
得票数 1
1
回答
根据域将example.txt重写为另一个
我使用多安装我的网页与两个不同的
域名
,我需要为每个
域名
一个唯一的
robots.txt
像https://www.domain1.tdl/
robots.txt
应该使用https://www.domain1.tdl/robots_domain1.txt 和 https://www.domain2.tdl/
robots.txt
应使用https://www.domain2.tdl/robots_
浏览 13
提问于2019-05-22
得票数 0
2
回答
Robots.txt
拒绝除一个域之外的所有域
有没有办法拒绝除一个域之外的所有机器人?我希望搜索引擎不爬行,除非它是一个特定的领域。
浏览 1
提问于2013-10-24
得票数 0
1
回答
子目录可以覆盖父域的
robots.txt
吗?
我的问题是:如果sith.edu将不允许/rogueone添加到他们的
robots.txt
中,/rogueone可以使用自己的
robots.txt
来覆盖这种效果吗?还是谷歌会遵守父
域名
的
robots.txt
不允许规则?
浏览 0
提问于2020-07-13
得票数 1
回答已采纳
1
回答
Robots.txt
阻止对所有https://页面的访问
阻止所有机器人访问https:// pages的语法是什么?我有一个旧网站,现在没有SSL,我想阻止访问所有https://页面
浏览 2
提问于2009-04-25
得票数 3
回答已采纳
3
回答
隐藏特定文件夹及其子文件夹和文件?
、
我想在public_html中隐藏一个名为(
robots.txt
)的文件夹,使搜索引擎看不到它的所有子文件夹和文件,我是否必须将文件放在根文件夹(/)中,并像下面这样处理beta中的内容Disallow: /public_html/beta将
robots.txt
放在public_html中,并按如下所示执行内容Disallow: /beta
浏览 1
提问于2013-01-10
得票数 0
1
回答
尝试从Github页面抓取数据
、
127.0.0.1:60232017-01-18 02:29:46 [scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by
robots.txt
浏览 2
提问于2017-01-18
得票数 2
4
回答
如何
禁止
来自
robots.txt
的特定页面
我会在
robots.txt
文件中这样做吗?
禁止
: /wp-admin 我如何定制到特定的页面,如:
浏览 0
提问于2010-08-15
得票数 33
1
回答
robots.txt
:网站仍未出现在Google中
我有下面的
robots.txt
Disallow: Allow: / 我上周做了这个改变,当我在谷歌上搜索我的
域名
时,我仍然可以得到A description for this result is not available because of this site's
robots.txt
。谷歌每隔多长时间进入一个
域名
?
浏览 3
提问于2015-03-04
得票数 0
回答已采纳
1
回答
为ASP.NET MVC站点创建
robots.txt
、
、
、
我正在为我的网站创建一个
robots.txt
文件,但是查看我的项目结构,我不确定要
禁止
什么。我是否需要
禁止
标准的.NET MVC目录和文件,如/App_Data,/web.config,/Controllers,/Models,/Global.asax?或者那些还没有被索引的内容呢?如果我想
禁止
一个页面,我应该
禁止
/Views/MyPage/Index.cshtml还是/MyPage?另外,当在
robots.
浏览 1
提问于2011-10-29
得票数 2
回答已采纳
2
回答
Robots.txt
文件
我在我的
robots.txt
文件中使用了以下代码:但是,我的一个竞争对手正在使用他的网站在谷歌和排名第一的位置上表现很好
robots.txt
文件无关紧要吗?
浏览 2
提问于2015-06-06
得票数 1
1
回答
想要通过htaccess将urls添加到
robots.txt
、
、
我有一个可湿性粉剂网站,目前通过一个插件通过.htaccess重定向几个链接,并想通过相同的htaccess文件添加原始的重定向链接到
robots.txt
。探测-pre-attack-1//send-pre/重定向/探测-pre-attack-3//send-pre/用户代理:*
禁止
:/probing
浏览 3
提问于2014-10-15
得票数 0
1
回答
顶级域的
Robots.txt
灵活性
、
、
、
、
所以我留给这个网络爬虫的唯一问题是,当顶级
域名
发生变化时,比如从imdb到youtube,它会把
robots.txt
从imdb的不允许规则切换到youtube。re.IGNORECASE = True url = "http://www.imdb.com" robotsUrl = url +'/
robots.txt
浏览 0
提问于2015-09-09
得票数 1
1
回答
RewriteRule意义
、
、
我猜它是否允许代理访问
robots.txt
,但如果它试图访问其他所有内容,则会阻塞? RewriteRule !^robots\.txt$ - [F]
浏览 0
提问于2014-09-30
得票数 1
回答已采纳
1
回答
我可以使用`
robots.txt
`文件作为我们学校
域名
的子目录吗?
我试图将一个
robots.txt
上传到我的本地子目录。问题是google忽略了这个文件,而是使用了学校
域名
的规则。也就是说,url看起来 www.someschool.edu/~myusername/
robots.txt
www.someschool
浏览 3
提问于2012-04-12
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
SEO实操方法之网站结构优化,你知道404和301吗?
二级域名收录难,那么如何快速收录?
robots.txt文件原理、规则和写法
SEO正式操作之robots.txt
Google 开源 robots.txt 解析器
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券