元标记与robots.txt
元标记（Meta tag）是一种在HTML文档中插入元数据的方法，用于提供有关网页内容的附加信息，例如作者、描述、关键词等。元标记通常位于<head>部分，并使用<meta>标签定义。
例如，以下是一个元标记的示例，用于指定网页的描述和关键词：
<head>
<meta name="description" content="这是一个示例网页">
<meta name="keywords" content="示例, 网页, 元标记">
</head>元标记可以帮助搜索引擎和其他Web服务更好地理解网页内容，并提高网站在搜索结果中的排名。
而robots.txt是一个用于告诉搜索引擎和其他Web爬虫如何处理网站内容的文件。它位于网站的根目录中，并使用简单的文本规则来控制对网站的访问。例如，以下是一个robots.txt文件的示例，用于禁止搜索引擎访问网站的/private目录：
User-agent: *
Disallow: /private/在这个例子中，User-agent指定了搜索引擎的类型（*表示所有搜索引擎），而Disallow指定了需要禁止访问的目录或文件。
总之，元标记和robots.txt都是用于控制网站在搜索引擎和其他Web服务中的表现和访问方式的工具。元标记通过提供元数据来描述网页内容，而robots.txt则通过定义规则来控制搜索引擎的访问行为。
相关·内容
1回答
robots.txt与元机器人标签的交互
meta-tags、robots.txt、noindex
这里还有其他的问题，如果你有两个元机器人，我想我理解了发生了什么，直到我在Google网站上找到了答案：。
重要！为了使noindex元标记有效，页面不能被robots.txt文件阻止。如果页面被robots.txt文件阻塞，爬虫将永远不会看到noindex标记，并且该页面仍然可以出现在搜索结果中，例如，如果其他页面链接到它。这意味着，如果另一个网站链接到我的页面，那么我的页面将被索引，即使我的页面被一个robots.txt阻塞。这意味着阻止我的页面被索引
浏览 1提问于2016-07-04得票数 0
1回答
机器人元与robots.txt
meta-tags、robots.txt、googlebot
在这个阶段，我使用了robots.txt来排除它们。但他们仍然有元指数，没有跟随。
谷歌会看到这种矛盾吗？
浏览 2提问于2014-10-16得票数 1
回答已采纳
2回答
robots.txt中的Noindex
robots.txt、noindex
我一直阻止谷歌使用robots.txt文件为我的网站建立索引。最近，我从谷歌的一位员工那里读到一篇文章，他说你应该用元标签来做这件事。这是否意味着Robots.txt不能工作？因为我正在使用CMS，所以我的选择非常有限，使用robots.txt文件就容易多了。我的问题是，如果我继续使用robots.txt文件而不是元标记，那么最糟糕的情况是什么。
浏览 0提问于2018-09-04得票数 3
回答已采纳
1回答
如何阻止机器人爬行或索引角应用程序
html、angular、robots.txt
我会简单地在我的<meta>页面上添加我的index.html标记，为了更好的衡量，在根中添加一个robots.txt文件？这些是我的元标签：<meta name="googlebot" content="noindex" />这是我的robots.txt文件的内容：Dis
浏览 1提问于2019-10-28得票数 5
1回答
根目录中的Robots.txt，这将覆盖Meta标记还是Meta标记将覆盖robots.txt文件？
meta-tags、robots.txt、meta
我不想让任何搜索引擎索引我的网站，所以我将robots.txt放在根目录中；这会覆盖Meta标记还是Meta标记会覆盖robots.txt文件？问这个问题的原因是，一些网页可能有元标签告诉机器人索引，跟随，但是我已经将网站移动到一个子域名，我仍然在调整网站之前，它的生活，以取代旧网站，我不想要删除所有的元标签告诉机器人索引，然后当网站准备好了要替换元标签告诉机器人索引，遵循，所以我认为robots.txt是最快的，最容易的，不改变网站，除了告诉机器人不
浏览 0提问于2013-03-29得票数 1
2回答
当我有一个robots.txt时，我应该删除元机器人(索引，跟随)吗？
seo、meta-tags、robots.txt
如果我想让搜索引擎遵循我的robots.txt规则，是否应该删除机器人元标签，我有点困惑。如果页面上存在机器人元标记(索引，如下所示)，那么搜索引擎会忽略我的robots.txt文件并在我的robots.txt中索引指定的不允许的URL吗？
浏览 1提问于2014-08-24得票数 0
回答已采纳
1回答
防止Google索引目录的最佳方法
seo、search-engine、robots.txt
我见过的最受欢迎的两个例子是：
添加元标记：<meta name="robots" content="noindex
浏览 2提问于2013-06-30得票数 0
回答已采纳
1回答
我应该如何保护我在电子邮件中发送的“秘密”链接不被搜索引擎索引？
web-crawlers
除了robots.txt之外，我是否可以或应该做些什么来阻止搜索引擎对私有页面进行索引，即只有通过嗅探“私有”内容(如电子邮件或密码保护页面)才能发现的页面？
浏览 0提问于2017-04-05得票数 1
2回答
如何检查googlebot是否会索引给定的url？
indexing、seo
我知道我可以使用robots.txt，但是robots.txt的问题如下:我们的主站点应该被编入索引，并且它在IIS (ASP.Net)上的应用程序与白色标签站点相同-唯一的区别是url。我不能根据传入的url修改robots.txt，但我可以从我的代码隐藏向所有页面添加一个元标记。
浏览 0提问于2010-05-07得票数 3
回答已采纳
2回答
我试着在robots.txt中放入一些东西，但它似乎已经有一段时间没有检查过了。我只想确定并添加一个meta标签(如果有的话)。
谢谢,
浏览 0提问于2011-08-03得票数 2
回答已采纳
2回答
在robots.txt文件中使用面条元标记
seo、robots.txt、meta、googlebot
是否可以在robots.txt文件中添加SEO标记(如“noodp”)，而不是使用<meta>标记？我试图避免扰乱我们的CMS模板，虽然我怀疑我可能不得不.我认为robots.txt优先于元标记？
浏览 5提问于2016-01-07得票数 0
回答已采纳
1回答
如何在Drupal 7中索引注释/回复
comments
我使用Drupal 7，并试图使用"noindex“元标记来防止http://example.com/comment/reply/43/738被搜索引擎索引。尽管我在robots.txt中使用了以下角色，但评论/回复页面仍被编入了索引：在哪个模板文件中，我需要为/注释/应答/页面合并"noindex“元标记</em
浏览 0提问于2011-12-26得票数 9
回答已采纳
1回答
robots.txt:不允许机器人访问给定的"url深度“
robots.txt、noindex
我与这个结构有联系：
是否有robots.txt解决方案(至少对某些搜索机器人有效)，或者我是否需要继续使用"noindex，no追随者“并接受额外的通信量？
浏览 0提问于2009-03-25得票数 3
回答已采纳
1回答
对google搜索隐藏Facebook应用程序
facebook、search、hide
该应用程序在iFrame中运行，我曾尝试使用与iFrame URL相同位置的robots.txt文件，并使用元标记，但该应用程序仍然显示在谷歌搜索中。
浏览 0提问于2012-05-10得票数 0
2回答
我能从我的网站上有“`noindex`”元标签的页面的链接中获益吗？
seo、canonical-url、noindex
我正试图了解，如果/如何能够从链接到我的站点上的页面的人中受益，这些页面都有一个noindex元标记。我正在考虑执行的2项行动：向没有noindex元标记的最相似页面添加规范标记
这些有效的方法可能有帮助吗？
浏览 0提问于2014-06-12得票数 2
2回答
机器人没有索引元标签会完全阻止搜索引擎为页面建立索引吗？
seo、html、search-engines、meta-tags、noindex
我想知道元标签<meta name="robots" content="noindex,follow">是否会完全阻止网站页面被索引。如果标记是<meta name="robots" content="index,follow">，那么在这种情况下会发生什么呢？
浏览 0提问于2019-11-24得票数 1
2回答
SEO在内部“结果”页面上的最佳实践是什么？
seo、search
我有一个在线应用程序，它有一个返回文本块的内部功能。你可以把这个页面想象成一个搜索结果页面。根据输入变量的不同，将返回不同的文本组合。告诉Google完全忽略这个页面是最好的吗？人们如何告诉Google，这是一个动态页面，它上可能有或可能没有重复的内容(非常相似的内容)？
很多网站都有内部“搜索”。搜索引擎优化如何处理页面返回的搜索结果？
浏览 0提问于2015-09-05得票数 1
回答已采纳
9回答
Wordpress删除Robots Meta标签noindex
php、wordpress、seo、meta-tags、robots.txt
我们遇到了一个关于wordpress站点元机器人标签的奇怪问题。所有页面都有以下meta标记，我们似乎无法将其删除我们在“设置”>“阅读”>“搜索引擎可见性”中取消选中“我们设置了Robots.txt文件，如下所示：Disallow:
Sitemap: http://speysidedistillery.co.uk
浏览 7提问于2015-01-20得票数 1
3回答
我已经禁止对所有爬虫使用robots.txt的某些页面。我是否必须为这些文件编写元标记，或者网络爬虫将直接跳过它们，因此没有必要这样做？
浏览 3提问于2012-03-31得票数 0
回答已采纳
1回答
SEO和302从主页重定向到另一个域
seo、redirects、homepage
他们会请求service.productdomain.com/robots.txt、sitemap (在robots.txt中定义)和索引sitemap中指定的其他页面吗？我也可以创建一个主页与一些一般的信息和元标记，如果现有的方法不适用于搜索爬虫。
浏览 0提问于2016-02-02得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
