Robots.txt禁止所有内容,只允许网站/网页的特定部分.Ultraseek和FAST等爬虫是否支持"允许"？

在Robots.txt文件中，可以设置允许某些爬虫访问特定的网页或网站部分。Robots.txt文件是一个纯文本文件，它告诉搜索引擎和爬虫哪些页面可以访问，哪些页面不可以访问。

在Robots.txt文件中，可以使用User-agent指令来指定允许访问的爬虫，并使用Disallow指令来指定不允许访问的页面。例如，以下是一个Robots.txt文件的示例，它允许Ultraseek和FAST爬虫访问特定的网页：

User-agent: Ultraseek
Disallow: /private/

User-agent: FAST
Disallow: /confidential/

在这个示例中，Ultraseek爬虫被允许访问除了/private/目录下的所有页面之外的所有页面，而FAST爬虫被允许访问除了/confidential/目录下的所有页面之外的所有页面。

因此，Ultraseek和FAST等爬虫是否支持"允许"，取决于Robots.txt文件中的设置。如果Robots.txt文件中指定了允许访问的页面，那么这些爬虫就可以访问这些页面，否则就不能访问。