如何禁止robots.txt中的特定页面
禁止robots.txt中的特定页面可以通过以下几种方式实现：
- 使用Disallow指令：在robots.txt文件中使用Disallow指令可以禁止搜索引擎爬虫访问特定页面。例如，如果要禁止爬虫访问网站的/contact页面，可以在robots.txt文件中添加以下内容：User-agent: * Disallow: /contact这样，搜索引擎爬虫就会遵守这个规则，不会访问/contact页面。
- 使用Noindex元标签：在特定页面的HTML代码中添加<meta name="robots" content="noindex">元标签可以告诉搜索引擎不要索引该页面。例如，在/contact页面的HTML代码中添加以下元标签：<meta name="robots" content="noindex">这样，搜索引擎就会忽略该页面。
- 使用密码保护：对于需要更高级别的保护的页面，可以使用密码保护功能。这样，只有知道密码的用户才能访问该页面，搜索引擎爬虫也无法访问。具体的密码保护方法可以根据使用的开发框架或CMS系统而定。
需要注意的是，以上方法只是告诉搜索引擎不要访问或索引特定页面，并不能完全阻止非法访问。如果需要更严格的访问控制，可以考虑使用其他安全措施，如身份验证、访问控制列表等。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云官网：https://cloud.tencent.com/
- 腾讯云Web应用防火墙（WAF）：https://cloud.tencent.com/product/waf
- 腾讯云安全组：https://cloud.tencent.com/product/security-group
- 腾讯云访问管理（CAM）：https://cloud.tencent.com/product/cam
相关·内容
我正在我的网站上创建两个页面，它们非常相似，但服务于不同的目的。一是感谢用户留言，二是鼓励用户订阅。
我不想重复的内容，但我确实希望页面是可用的。我可以将站点地图设置为隐藏一个吗？我会在robots.txt文件中这样做吗？
不允许如下所示：
禁止: /wp-admin
我如何定制到特定的页面，如：
浏览 0提问于2010-08-15得票数 33
几个问题
如何使用robots.txt有效地阻止目录及其内容？
可以这样做吗？
用户代理：*不允许: /group不允许: /home
例如，您是否需要放置一个拖尾斜杠：
用户代理：*不允许: /group/不允许: /home/
另外，在robots.txt中不允许和添加有什么区别？
如果我希望google不要在目录中显示特定的页面和文件夹，我该怎么办？
浏览 1提问于2014-07-26得票数 0
如果我想让搜索引擎遵循我的robots.txt规则，是否应该删除机器人元标签，我有点困惑。
如果页面上存在机器人元标记(索引，如下所示)，那么搜索引擎会忽略我的robots.txt文件并在我的robots.txt中索引指定的不允许的URL吗？
我之所以问这个问题，是因为搜索引擎(主要是谷歌)仍然在我的网站上索引不允许的页面。
浏览 1提问于2014-08-24得票数 0
回答已采纳
我们已经将我们的网站移动到一个新的域名，并希望旧网站的所有页面从搜索引擎中删除。这是相同的网站，相同的内容，只是一个新的领域，所以搜索引擎正在花费时间，因为重复的内容(可能)。我们已将旧站点中的.htaccess 301添加到新站点，如下所示：
redirect 301 / http://new-domain.com/
现在，为了从搜索引擎中删除我们的旧站点，我们将旧站点上的robots.txt更改为：
User-agent: *
Disallow: /
问题是，由于.htaccess 301重定向，搜索引擎正在从robots.txt -domain.com获取域名。
如何限制robots.t
浏览 1提问于2010-09-23得票数 3
我们有一些移动友好的问题影响到/domains/.well-known/。
此页面仅显示：
索引/域/.众所周知的父目录(链接) pki-验证/(链接)
此页面的移动性问题是否会影响整个网站？也就是说，是否会有任何影响网站的处罚，还是仅适用于页面？
我是否应该将此页面添加到robots.txt中的阻塞页中？
浏览 0提问于2018-12-22得票数 1
回答已采纳
使用我的htaccess文件中的重定向语句，在地址栏中键入以下内容的用户...
http://example.com/index.php
...are重定向至...
http://example.com/
我也有一个noindex，在我所有的网站页面上都没有关注meta标签。
我的问题是，考虑到重定向行为和元数据，如果我的robots.txt文件如下所示，谷歌机器人会索引我的主页(即index.php)吗？
User-agent: Googlebot
Allow: /index.php
Disallow: /
User-agent: *
Disallow: /
如果没有，我应该如何更改我的r
浏览 1提问于2010-09-28得票数 1
回答已采纳
我正在尝试解决一个问题，Googlebot似乎正在消耗我的CPU使用率。为了确认我的猜测，我修改了网站根文件夹中的robots.txt，添加了 Disallow: / 干杯。我有两个网站在不同的服务器上，他们都有这个问题。其中一个在我编辑robots.txt后，CPU使用率下降到正常水平，另一个我从apache访问日志中看到Googlebot仍在运行。 所以我去谷歌搜索控制台测试robots.txt。对于第一个问题，我发现谷歌已经发现了最新的robots.txt，并停止在我的网站上爬行；对于第二个问题，谷歌仍在使用旧版本的robots.txt。因此，修改robots.txt并不总是立即生效，
浏览 68提问于2020-04-05得票数 0
1回答
我有一个网站:现在我们有很多动态页面，
我想阻止所有的动态URL，除了花画布打印类别()
让我知道你的建议，如何阻止所有产品页，但花卉类别在，ROBOTS.TXT，或任何其他方式.
谢谢
浏览 0提问于2012-11-06得票数 1
我有一个小magento网站，其中包含页面URL，如：
http://www.example.com/contact-us.html
http://www.example.com/customer/account/login/
然而，我也有包含过滤器(例如，价格和颜色)的页面，并且有两个这样的示例：
http://www.example.com/products.html?price=1%2C1000
http://www.example.com/products/chairs.html?price=1%2C1000
问题是，当谷歌机器人和其他搜索引擎机器人搜索网站时，它基本上会陷入停顿，因为
浏览 0提问于2011-09-17得票数 5
回答已采纳
我是一名摄影师，我需要防止索引(因此发现)我的客户的图像显示在一个密码保护的商店。我可以在文件名中包含一个特定的字符串，比如...WWWWW ...这将标记我要隐藏的文件。这个robots.txt能做这个工作吗？
User-agent: *
Disallow: /*WWWWW*
如果是这样，我如何测试呢？谢谢
浏览 2提问于2020-06-27得票数 0
1回答
我正在使用concrete5作为我的网站的内容管理系统。我收到一条来自谷歌搜索控制台的消息：“当我们测试您的网站地图中的URL样本时，我们发现网站的robots.txt文件阻止了对某些URL的访问。如果您不打算阻止网站地图中包含的一些URL，请使用我们的robots.txt分析工具来验证您在网站地图中提交的URL是否可以被谷歌机器人访问。所有可访问的URL仍将被提交。”当我调查我的sitemap，我的网站域/sitemap.xml时，我发现它都包含管理链接，而不是用户的网站页面的URL。我从自动作业中生成了一个新的站点地图，并清除了缓存，但问题仍然存在。我正在使用cdn生成urls，我能做些什
浏览 1提问于2018-12-04得票数 0
我只想知道您的网站中是否需要robots.txt，以便爬虫对页面进行索引。或者它只是不允许任何你不想索引的内容。
浏览 4提问于2012-02-02得票数 1
回答已采纳
我在运行一个丹麦航班搜索引擎。我之前设置了一个有缺陷的robots.txt文件，最终删除了我网站大部分内容的标题标签和描述。
现在，我已经将robots.txt修复为：
# Robots file for www.billigeflybilletter.dk
User-Agent: *
Disallow: /wp-admin/
Disallow: /hoteller
Allow: /wp-admin/admin-ajax.php
Allow: /flyforsinkelse/
然而，非常重要的页面https://www.billigeflybilletter.dk/flyforsinkelse
浏览 0提问于2016-11-07得票数 0
我查看了许多网站的robots.txt文件，以检查我是否可以刮一些特定的网页。当我看到下面的模式-
用户代理：*
允许:/某些页
不允许:/另一页
robots.txt文件中没有其他内容。这是否意味着所有其他的其他网页在给定的网站上可供刮除？
P.S. -我试过搜索这个特定的案子但没有任何进展。
浏览 0提问于2020-03-14得票数 1
回答已采纳
3回答
阻止所有机器人访问页面
、、、
在asp.net，c# web applciation中，有可能阻止机器人访问特定的页面吗？
我想阻止所有机器人访问我的网站上的支付页面。
浏览 1提问于2011-06-21得票数 1
回答已采纳
1回答
我的服务器上有robots.txt和script.php文件。我想用以下代码将所有对robots.txt的请求转移到script.php： RewriteEngine On
RewriteCond %{REQUEST_URI} ^robots.txt$
RewriteRule .* script.php [F,L] 但它不起作用。如果我从服务器上删除robots.txt -一切都很好...
浏览 10提问于2019-06-03得票数 0
我正在尝试阻止我的网站被索引/列出：
我在.htaccess中设置了：
Header set X-Robots-Tag "noindex, nofollow"
还需要设置robots.txt吗？
User-agent: *
Disallow: /
添加robots.txt有什么坏处吗？
浏览 4提问于2016-08-19得票数 0
1回答
我有大量的预订引擎页面被索引。我不想阻止Google的实际预订页面，因为它对有机流量很有帮助，但是我也有很多来自预订引擎的无用页面正在被索引：
https://book.condorferries.co.uk/en/author/crdaru/ https://book.condorferries.co.uk/ag-fr/category/uncategorized/https://book.condorferries.co.uk/en/cw_内容_类型/车辆/ https://book.condorferries.co.uk/en/cw_内容_类型/舱室/
举几个例子，但是有很多--大约70
浏览 0提问于2019-01-25得票数 -1
1回答
我想禁止所有机器人爬行和索引网站。除了谷歌机器人。我希望允许google对索引(/) URL进行索引，但不允许其他内容。最好是在robots.txt中。
你对如何实现这一点有什么想法吗？谢谢!
浏览 11提问于2019-11-29得票数 1
我有几个领域，我用于开发和测试网站。因为它通常有生产网站的实际内容，我不希望谷歌永远索引这些域名。
我不想使用robots.txt作为解决方案。我一直在删除和重新安装这些域上的所有内容，包括robots.txt。我不想设置某种HTTP状态代码，因为在测试过程中我需要200 OK。密码保护网站也是一个痛苦，因为客户感到困惑，它阻止我从某些测试，等等。
网站管理员工具中有什么东西我可以用来告诉Google不要索引网站吗？此外，我如何删除谷歌到目前为止索引的任何和所有页面？
浏览 0提问于2017-12-21得票数 1
2回答
我有一个超过1000页的joomla网站，其中包含这样的urls：
www.mysite.com/example.html?start=10
www.mysite.com/example.html?start=20
www.mysite.com/example.html?limitstart=0
所有这些网址都被谷歌索引，在谷歌站长工具中，我有一个巨大的重复元描述由这些页面造成的列表。
我知道用robots.txt屏蔽它们并不难，这就是为什么我需要一些帮助。
浏览 2提问于2012-12-28得票数 0
回答已采纳
我想在public_html中隐藏一个名为( robots.txt )的文件夹，使搜索引擎看不到它的所有子文件夹和文件，我是否必须将文件放在根文件夹(/)中，并像下面这样处理beta中的内容
User-agent: *
Disallow: /public_html/beta
或
将robots.txt放在public_html中，并按如下所示执行内容
User-agent: *
Disallow: /beta
浏览 1提问于2013-01-10得票数 0
谁能告诉我检查url是否已被robots.txt阻止的示例代码？我们可以在robots.txt中指定完整的url或目录。Perl中有没有helper函数？
浏览 0提问于2011-05-31得票数 0
回答已采纳
使用爬虫我们可以搜索任何特定的网站，但这会降低site.Is的带宽，在爬行特定网站或使用nutch之前有任何规则，我们可以搜索任何网站没有问题。我想创建垂直搜索使用Nutch.Can谁能帮助我从这个问题的基础上上述问题部分？
如果特定站点不允许在robots.txt中使用坚果机器人，那么如何使用坚果搜索该站点?我们之前需要获得许可吗？
浏览 0提问于2013-05-11得票数 0
我不想在google搜索结果中看到资源内容类型节点。 我知道，如果我必须限制任何特定的内容，我可以在robots.txt中添加URL。 但是，如何才能限制Drupal8中某个特定内容类型的所有节点不被google等搜索引擎抓取？
浏览 32提问于2020-08-18得票数 0
3回答
这个机器人不尊重nofollow noindex in robots.txt。
我在robots.txt上有这个：
User-agent: Msnbot
Disallow: /
User-Agent: Msnbot/2.0b
Disallow: /
直到现在，它是相当缓慢，但现在，它是一个怪物，根本不会离开我的网站。爬行所有WordPress和MyBB 24/7。
若要阻止IP范围，或如何阻止所有这些内容盗取者？
浏览 2提问于2014-03-02得票数 1
回答已采纳
我已经用robots.txt阻止了爬虫爬行我的web根目录(在我的例子中是/var/www/)。我在/var/www/中禁用了robots.txt，其中包含以下代码行：
现在，我需要web根目录(/var/www/mysite.com)的一个子目录被爬虫爬行。我已经在该目录中添加了robots.txt，并在apache中添加了虚拟主机，以允许对此mysite.com进行爬行。但是爬虫仍然从我的web根目录(/var/www)而不是(/var/www/mysite.com)获取robots.txt。
提前感谢您的帮助。
浏览 3提问于2013-05-10得票数 0
回答已采纳
我们的网站只使用https，所以任何http都会被强制使用https。但是仍然有一些机器人想通过http强行进入。
我已经找过了，但找不到一个简单的方法来做这件事。
所以我的问题是，我应该向robots.txt写入什么，这样才能只允许https
浏览 2提问于2016-04-14得票数 0
下面的配置允许我为带有?string参数的产品运行广告活动吗？
User-agent: *
Disallow: /*?string
User-agent: AdsBot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Mediapartners-Google
Allow: /
我想避免不必要的爬行机器人在过滤页面上。是否有robots.txt文件的配置，允许在过滤子页面上进行活动，同时限制对主要"Googlebot“的访问？
浏览 0提问于2021-10-19得票数 3
我想一年多以前，雅虎！将使用另一个搜索引擎的结果，不再使用自己的Slurp。不过，我管理雅虎的两个网站！Slurp继续爬行页面，并且在返回时似乎忽略了消失的状态代码(因为它不断地返回)。
有什么理由我不想阻止雅虎！通过robots.txt或IP (因为在某些情况下它往往忽略robots.txt )？
我已经确认，当机器人击中它是来自雅虎！IPs，所以我相信这是机器人的合法例子。
雅虎现在的搜索和必应搜索一样吗？是一个相关的问题，但我认为它并不能完全回答是否应该添加一个新的bot块。
浏览 0提问于2011-11-27得票数 5
回答已采纳
我们有一个单独的移动站点和一个单独的桌面站点。基本上，每个普通页面都有一个“移动”页面，如下所示：
public_html/home.php public_html/m/home.php
m/home.php出现在搜索结果中。有没有可能让谷歌显示正常的home.php？
响应式设计是一个很好的解决方案，但这不是我目前正在寻找的答案。
我不想301重定向m/home.php，因为移动设备上的人们仍然需要查看它。
当我检测到用户没有使用移动浏览器时，我唯一的选择是将用户从m/home.php重定向到home.php吗？
浏览 5提问于2015-10-07得票数 0
如果我想要直观地看到googlebot看到的东西，这就是方法吗？我正在检查刚才在我的robots.txt中阻塞的文件夹。
如果我以googlebot的方式获取文件夹，它会获取ok，所以这并不能告诉我块是否工作。
我知道有一个检查阻塞的工具，但它依赖于robots.txt的输入
因此，我尝试了Instant，并且我看不到bot看到的内容的预览(“预呈现”)，所以我认为这意味着这是因为robots.txt阻止了它；但是--我没有看到机器人预先尝试访问我更新的robots.txt，所以我不知道它如何知道这个文件夹被阻塞了？(它会预览另一个新文件夹，这个文件夹不会被阻止)
浏览 0提问于2014-04-03得票数 2
2回答
我在我的网站上有一些限制部分供蜘蛛爬行。
引用只包含我希望蜘蛛索引的urls的sitemap.xml文件就足够了吗？
或者我应该将下面的元标记添加到我想限制访问的页面中？
<meta name="robots" content="NONE,NOARCHIVE" />
浏览 1提问于2014-10-29得票数 0
回答已采纳
我想爬一些网站上的medium.com，自定义域。(例如，)
这些站点总是重定向到"medium.com“，然后返回到站点。但是这里有一个问题，medium.com的重定向url被它的robots.txt不允许。
这是重定向的方法。
这个问题在robots.txt不允许的第二个url“robots.txt”之上。
User-Agent: *
Disallow: /m/
Disallow: /me/
Disallow: /@me$
Disallow: /@me/
Disallow: /*/*/edit
Allow: /_/
Allow: /_/api/user
浏览 2提问于2017-11-02得票数 4
我在我的根robots.txt上尝试了这个
User-agent: *
Allow: /
Disallow: /*&action=surprise
Sitemap: https://example.com/sitemap.php
我想从爬网urls中排除如下内容：
https://example.com/track&id=13&action=surprise&autoplay
从access.log文件中，我再次看到一些机器人点击这些urls。
我是不是做错了什么，或者只是一些机器人没有遵循我的robots.txt设置？
浏览 4提问于2017-08-25得票数 0
我的网站允许搜索引擎以2种格式索引相同的页面，如：
www.example.com/page-1271.html
www.example.com/page-1271-page-title.html
我所有的网站页面都是这样的。那么，如何阻止robots.txt文件中的第一种格式呢？我是说，是不是有这样一个密码：
Disallow: /page-(numbers).html
浏览 0提问于2013-06-10得票数 0
1回答
我试着刮一个网站，这两条规则在robots.txt中似乎是矛盾的
User-agent: *
Disallow: *
Allow: /
Allow: /是否意味着我可以刮掉整个网站，或者只是根部？就好像意味着我可以刮掉整个网站，那么这与之前的规则是直接矛盾的。
浏览 1提问于2022-04-16得票数 1
回答已采纳
1回答
下面这一行是什么意思?它是做什么的？我知道在RewriteCond中，它被用来阻止用户代理的访问。我猜它是否允许代理访问robots.txt，但如果它试图访问其他所有内容，则会阻塞？
RewriteRule !^robots\.txt$ - [F]
浏览 0提问于2014-09-30得票数 1
回答已采纳
目前在我的网上商店，在有太多页面的分类页面上，urls以 p=3结尾...我想告诉robots.txt不要索引以p=Number结尾的urls。我该怎么做呢？顺便说一句，这是个prestashop网站。
谢谢你们所有人。
浏览 46提问于2018-07-27得票数 -2
回答已采纳
我想知道Robots.txt中的以下代码是做什么的。
User-agent: *
Disallow: /*?
有什么想法吗？
浏览 1提问于2012-11-07得票数 0
回答已采纳
我对robots.txt有意见。我把robots.txt文件放在了网站的主目录中(也在/var/www/html中--为了让它在所有服务器上工作)，但是机器人仍然在我的网站上爬行。
这是我的robots.txt：
User-agent: YandexBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot/1.2~bl
Disallow: /
你有什么意见建议？
浏览 0提问于2017-12-06得票数 1
如果我想我的主要网站上的搜索引擎，但没有子域，我应该只是把“不允许所有的”robots.txt在目录的子域？如果我这样做了，我的主域是否仍然可以爬行？
浏览 0提问于2012-08-31得票数 8
我希望google忽略urls，如下所示：
所有的网址，有参数目录，订单和价格应该被忽略，但我没有使用Robots.txt的经验。
有什么想法吗？
浏览 1提问于2012-02-05得票数 84
回答已采纳
在我的ASP.Net MVC应用程序中，我有一个控制器/动作url，我想在Robots.txt不允许部分中添加它，这样我的视图就不会被爬行，所以不会被搜索引擎索引。
但是我已经用这样的路线重命名了控制器/动作
routes.MapRoute(
"693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0",
"693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0",
new { controller =
浏览 3提问于2013-08-22得票数 1
回答已采纳
我的robots.txt如下：
User-agent: *
Disallow: /user/*
Disallow: /invitations/*
Disallow: /api/*
#Adsense crawler
User-agent: Mediapartners-Google
Disallow:
真的允许“Mediapartners Google”爬虫扫描所有页面吗？或者我的robots.txt User-agent: *的第一行将阻止所有爬虫(包括“Mediapartners Google”)访问上面提到的根目录，即使文件末尾有以下行：
User-agent: Mediapartners
浏览 0提问于2018-10-03得票数 3
我正在尝试抓取用户定义的网站，但无法抓取robots.txt正在阻止爬行的站点。这很好，但我想得到的响应，我可以告诉用户，“您输入的网站不允许爬行，因为robots.txt”。
还有其他三种类型的预防，我得到了相应的代码和处理，但只有这个异常(即通过robots.txt预防)，我无法处理。因此，请让我知道是否有任何方法来处理这一情况，并显示适当的错误信息。
我正在使用Python3.5.2和Scrapy1.5
浏览 0提问于2018-05-29得票数 1
回答已采纳
我想写一个尊重robots.txt的爬虫。不幸的是，无头浏览器似乎不支持robots.txt。我曾与PhantomJS的人讨论过，我得到了答案: PhantomJS是浏览器，而不是爬虫，如果您从脚本中使用它，脚本负责尊重robots.txt。
这是正确的吗？我认为必须尊重每个http请求的robots.txt，而不仅仅是主urls。
那么，仅仅检查robots.txt中的主url就足够了吗？
浏览 2提问于2013-10-22得票数 0
回答已采纳
2回答
我在搜索如何没有索引特定的URL，但我没有找到任何具体的信息，以下。
通过添加以下内容
<?php if(is_single(X)): ?>
<meta name="robots" content="noindex,nofollow">
<?php endif; ?>
我将无法索引(X)，其中X可以是post ID，帖子标题的“hello”，或者一个“hello-world”的帖子片段。
如果有可能的话，是否可以指定所有以相同的词组或标题开头的URL，如下面的示例所示？
www.test.com/REF-123-mytest.
浏览 2提问于2014-11-11得票数 2
2回答
最近，我看到一个站点的robots.txt如下：
User-agent: *
Allow: /login
Allow: /register
我只能找到Allow条目，没有Disallow条目。
从中，我可以理解robots.txt几乎是要爬到Disallow页面的黑名单文件。因此，Allow只用于允许已经被Disallow阻塞的域的子部分。与此类似：
Allow: /crawlthis
Disallow: /
但是，那个robots.txt没有Disallow条目。那么，这个robots.txt让谷歌爬行所有的页面吗？或者，它只允许使用Allow标记的指定页。
浏览 4提问于2016-10-19得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
