文章/答案/技术大牛

发布

社区首页 >问答首页 >这段robot.txt代码会禁止所有的搜索引擎吗？

问这段robot.txt代码会禁止所有的搜索引擎吗？
EN

Stack Overflow用户

提问于 2011-08-22 19:10:54

回答 1查看 163关注 0票数 0

我想知道这个代码是否禁止每个搜索引擎扫描我的目录。

User-agent: * 
Disallow: /

另外，此代码是否使用新的htlm5协议进行了更新？

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

真的有用还是不再需要了？

回答已采纳

发布于 2011-08-22 19:19:16

不，它只会阻止那些遵守robots.txt协议的搜索引擎(存在故意违反robots.txt来查找“隐藏”内容的搜索引擎)。

然而，它将阻止绝大多数普通消费者使用的搜索引擎看到它。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/7146585

复制

相似问题

问这段robot.txt代码会禁止所有的搜索引擎吗？EN