如何让Googlebot抓取从AJAX加载的内容，同时防止它索引URL命中？
要让Googlebot抓取从AJAX加载的内容，同时防止它索引URL命中，可以采取以下方法：
- 使用预渲染技术：预渲染是指在服务器端生成完整的HTML页面，并将其提供给搜索引擎爬虫。这样，当Googlebot访问网页时，它会直接获取到完整的内容，而不需要执行AJAX请求。可以使用Prerender.io等预渲染服务，或者自行实现预渲染的服务器端逻辑。
- 使用动态URL重写：将AJAX加载的内容通过URL重写的方式暴露给搜索引擎爬虫。可以通过将AJAX请求的URL转换为静态URL的方式，使得Googlebot可以直接访问到对应的内容。这样可以避免Googlebot无法获取到AJAX加载的内容的问题。
- 使用HTML5的History API：通过使用HTML5的History API，可以在URL中添加历史记录，同时更新页面内容，而不会导致页面的完全刷新。这样，当Googlebot访问网页时，它会获取到完整的HTML页面，并能够正确解析其中的AJAX加载内容。
- 使用XML Sitemap：在网站的XML Sitemap中添加AJAX加载内容的URL。这样，即使Googlebot无法直接抓取AJAX加载的内容，它仍然可以通过XML Sitemap中提供的URL找到并索引这些内容。
需要注意的是，以上方法仅适用于Googlebot，其他搜索引擎的爬虫可能不支持或不遵循相同的规则。此外，为了防止Googlebot索引到不应被索引的URL，可以通过robots.txt文件或meta标签中的noindex指令来指定不希望被索引的URL。
腾讯云相关产品和产品介绍链接地址：
- 预渲染服务：https://cloud.tencent.com/product/prerender
- URL重写服务：https://cloud.tencent.com/product/urlrewrite
- XML Sitemap生成工具：https://cloud.tencent.com/product/sitemap
相关·内容
我在我的网站上有一组页面，我在页面加载时发布“主要内容”，并在页面加载后通过AJAX命中发布“相关内容”。我想要做的是确保Googlebot可以通过AJAX加载内容，并遵循其中的链接，但不索引请求URL。 如果我不允许robots.txt中的网址，Googlebot将不会抓取
浏览 36提问于2019-02-20得票数 0
我的客户必须告诉它的客户一些新的规定，谷歌机器人不应该爬行。不可能将这些信息放在单独的页面上，而不允许Google对其进行爬行。因此，我们的想法是在页面上放置一个按钮/链接，只有当用户单击该按钮/链接时，它才会加载相应的信息。我的假设是，Google无法单击链接并爬行特定的AJAX内容。
我说的对吗？如果是，是否有正式文件证明
浏览 0提问于2020-07-01得票数 4
回答已采纳
我的Google搜索工具抱怨它在我的网站上找到了某些URL。这些是故意不可用的URL；我不会在任何链接中使用它们。把它们看作是未使用的元数据。( A)在一个场景中，这些URL是我存储在变量中的JS对象的一部分 const foo = { badUrl: "http://www.example.com/{these
浏览 0提问于2021-05-26得票数 2
回答已采纳
在我的页面上，用户可以创建文章。他们填了一张表格，上面写着他们的文章，文章放在我的数据库里。还有一个页面，当用户访问页面时，使用jQuery和AJAX动态加载用户的文章(以及他们的文章标题)。我目前工作在我的搜索引擎优化-具体而言，关键字密度。文章的内容没有显示出来。
我想知道Google爬虫是否做了同样的事情--它没有看到用户文章的内容
浏览 0提问于2021-08-01得票数 2
回答已采纳
2回答
我将一个Flash网站重新构建成一个基于AJAX的网站，该网站使用AJAX从JSON数据生成其所有内容。但从那时起，该网站开始失去谷歌的所有图像搜索结果。过了一段时间，没有一个结果来自主站点(
浏览 0提问于2013-07-05得票数 1
回答已采纳
因此，我的页面上没有Googlebot可能找到的带有查询字符串的“可见”链接。而且Googlebot最终会发现它，尽管我没有展示它。让Google爬行它，但是当页面使用
浏览 0提问于2021-01-09得票数 6
Googlebot每天爬行一定数量的页面，这取决于站点的大小。但是，对于一个特定的页面需要多长时间。换句话说，在扫描到下一页之前，它在当前扫描页面上花费了多少秒或分钟。这有固定的时间吗？
浏览 0提问于2022-07-25得票数 2
1回答
当用户开始滚动具有下一页链接的页面底部时，就会触发它，也会用更多的滚动将url从www.example.com更改为www.example.com/?page=2等等。我看到网站有无限的滚动，没有变化的网址。另外，更改URL可以在Google获得更多的页面索引，这可能是一个加点。
浏览 0提问于2021-07-09得票数 2
我试图实现ajax调用，只有当用户到达页面的部分并同时确保Google能够读取内容时，才能加载页面的各个部分。在我的页面上创建了一个链接“查看注释”，并将#!module=comments添加到url中。客户端，我创建了一个脚本，在单击链接时加载静态html。
效果很好。当我点击链接时，我看到静态内容正在加载</em
浏览 0提问于2020-07-16得票数 3
回答已采纳
我可以理解如何在正常应用程序中禁止机器人爬行一些页面/文件夹。例如，对于谷歌-bot这里描述得很好。但是，如果我有一个页面应用程序(这个应用程序只使用ajax上传新内容，并且在客户端上有路由和页面生成)，我该怎么办？如何使它可爬行是描述这里和这里，但如果我没有一个机器人跟随一些链接(在我的起始页面)？我这样说的意思是：家(
浏览 0提问于2014-05-01得票数 2
回答已采纳
现在我在我的网站上使用ReactJS，并且想知道更改服务器端呈现(NextJS)是否会影响我的搜索引擎排名？那么，如果我将从客户端呈现更改为服务器端呈现，它真的会影响我的SEO吗？即使它是最小的。我知道这里已经有(仅用于搜索引擎的服务器端呈现(SEO))关于服务器端呈现的<
浏览 0提问于2020-07-07得票数 1
如果您查看下面的示例站点，当您单击菜单中的任何页面时，站点上的内容和url将发生更改，但该页面不会刷新。他们可能会用AJAX来实现这个特性。Discord.com(样本网站)
浏览 0提问于2021-09-25得票数 3
回答已采纳
我在一个可湿性粉剂单页投资组合，加载AJAX的帖子内容。我读到可湿性粉剂不需要#!的URL来使它可以被谷歌机器人抓取。如果我理解正确的话，因为Googlebot不会解释ajax，它只会跟随链接并索引文章页面。
所以我从我的URL中删除了#!，当一个帖子打开时，我用.pushState更新它们。它工作得很好，但如果我点击F5，或者
浏览 0提问于2012-12-16得票数 0
我正在创建一个使用flutter的网站，大部分内容都是从Firestore和存储中获取的。我想用防火墙托管它。我对此非常陌生，所以我真的需要知道SEO是否会在这里工作。如果没有，是否有一种不改变上述3种条件的SEO工作方式？
浏览 0提问于2022-01-09得票数 2
在我的WordPress站点上，有一个页面http://www.example.com/doc/list/动态显示所有DB条目(76,000条)。我如何告诉谷歌，/44444/是使内容唯一的参数，
浏览 0提问于2013-08-07得票数 0
我们已经为学生开发了一个类似维基百科的Firebase Web应用程序，其中每一页都是他们为课程作业写的一篇文章，并相互链接。
Firebase提供用于全文搜索的多个第三方搜索引擎。然而，我们正在寻找一种使用谷歌可编程搜索引擎的方法，这样学生在搜索彼此的文章时，谷歌会对他们的文章进行索引，并在谷歌搜索上获得更多的公众关注，以激励学生学会对社会产生影响，而不仅仅是为了通过课程要求而写作主要的问题是谷歌
浏览 0提问于2022-02-19得票数 2
我正在尝试允许谷歌机器人网络爬虫来索引我的网站。我的robots.txt最初看起来是这样的：Disallow: / Sitemap: https://www.sitename.com/sitemap.xmlUser-agent: * Host: www.sitename.com
Sitemap: https://w
浏览 14提问于2018-10-06得票数 1
我正在阅读ajax，以及它如何使我们能够在幕后与服务器交换数据，从而避免页面重新加载。我的困惑就在这里，我真的不明白整页重装意味着什么。我想这可能是因为我从一开始就一直在使用ajax/react，我想，当我从数据库或api访问内容时，我还没有真正看到我的任何网页完全重新加载。如果有人能解释他们是什么，为什么我们在ajax之前需要他们，那就太好了。
浏览 6提问于2022-03-03得票数 1
回答已采纳
2回答
基于AJAX的搜索站点上的SEO
、、、、
我正在构建一个网站，这基本上是一个简单的1页与搜索框，和AJAX搜索结果显示在一个表。是否应该尝试使AJAX搜索结果可抓取，如果是，是否需要做任何事情来使我的站点和异步搜索结果表可抓取。备选案文1和2的一些实际例子：
构建一个(以某种方式)可爬行的AJAX搜索结果表，这样搜索"Foo Bar“的页面将
浏览 0提问于2015-04-08得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
