首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    robots.txt详解

    浏览器输入 主域名/robots.txt robots.txt的作用 robots.txt 文件规定了搜索引擎抓取工具可以访问网站上的哪些网址,并不禁止搜索引擎将某个网页纳入索引。...例如: robots.txt指令的一些限制 并非所有搜索引擎都支持 robots.txt 指令。...用任意文本编辑器(就是写代码的软件)创建 robots.txt 文件。 格式和位置规则: 文件必须命名为 robots.txt。 网站只能有 1 个 robots.txt 文件。...例如,disallow: /file.asp 适用于 https://www.example.com/file.asp,但不适用于 https://www.example.com/FILE.asp。...测试 robots.txt 标记 要测试新上传的 robots.txt 文件是否可公开访问,请在浏览器中打开无痕浏览窗口(或等效窗口),然后转到 robots.txt 文件的位置。

    2.7K20
    领券