谷歌是否尊重将robots.txt的头重定向到不同的文件名？
谷歌是否尊重将robots.txt的头重定向到不同的文件名？
提问于 2013-08-01 15:20:23
对于robots.txt请求，Google 州“通常会遵循重定向，直到找到有效的结果”。
这是否意味着，如果我为http://www.example.com/robots.txt创建一个301重定向到http://www.example.com/myrobots.txt，谷歌将解析http://www.example.com/myrobots.txt提供的内容为有效的robots.txt内容？或者结果URL未命名为robots.txt这一事实是否使其成为一个无效的结果，因此将被忽略？
回答 1
Webmasters Stack Exchange用户
发布于 2013-08-02 01:13:39
机器人遵循机器人排除标准，也被称为机器人排斥协议。根据WC3，机器人指令必须在包含"/robots.txt“的URI的文件中指定，所有这些都是小写字符串，位于站点的根目录中。有关更多信息，请参见：WC3 - robots.txt文件
如上面所述：The Robot will simply look for a "/robots.txt" URI on your site。因此，有些机器人可能无法识别具有不同文件名或位置的robots.txt。
在Google工具中，您可以在爬行->阻塞URL下查看站点的robots.txt文件的URL，如下所述：谷歌工具-使用robots.txt文件阻止或删除页面 (在“测试一个robots.txt文件”下向下箭头)。
如果您的robots.txt丢失，它可能没有找到或识别它。您可以通过列出要对其进行测试的URL并单击“测试”来再次确认这一点。
页面原文内容由Webmasters Stack Exchange提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://webmasters.stackexchange.com/questions/51434
复制相关文章
相似问题
腾讯云开发者
