如何禁止www.example.com和exsample.com中的搜索机器人
如何禁止www.example.com和exsample.com中的搜索机器人
提问于 2014-09-04 08:23:07
我想知道是否有可能阻止所有的机器人从我的网站。我遇到了一些麻烦，因为我将exsample.com重定向到www.exsample.com。robots.txt检查工具说，我在exsample.com上没有robots.txt文件，但在www.exsample.com上有。
希望有人能帮我:)
回答 2
Stack Overflow用户
回答已采纳
发布于 2014-09-05 17:41:37
只需创建一个名为robots.txt的文本文件，然后在此文件中编写以下内容
User-agent: *
Disallow: /并将其放入您的www文件夹或public_html文件夹中。
这将要求所有的搜索引擎都不允许网站的所有内容，但并不是所有的搜索引擎都会遵守这个协议，但是最重要的搜索引擎会按照您的要求阅读和执行。
Stack Overflow用户
发布于 2014-09-05 18:16:03
Robots.txt在每个主机上都能工作。
因此，如果要阻止http://www.example.com上的URL，则必须在http://www.example.com/robots.txt上访问robots.txt。
注意，子域很重要，所以您不能用仅在http://example.com上可用的robots.txt阻止http://www.example.com/robots.txt上的URL。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/25660609
复制相关文章
相似问题
腾讯云开发者
