我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
爬虫在我的头中没有通过脚本附加的meta标签：有没有合适的JS代码格式可以不阻止爬虫抓取我的脚本？
浏览 1提问于2020-12-15得票数 1
1回答
爬虫可以正确地请求页面，但问题是几乎所有内容都是通过knockout.js动态加载的。爬虫程序目前无法请求此内容，这导致只加载了页面的一小部分。我试着让程序等待，希望动态的请求无论如何都会被发送，但这似乎不起作用。如何才能使crawler请求所有数据？
谢谢!
浏览 12提问于2019-07-09得票数 0
{ id: '1' } }, { params: { id: '2' } }]}
但是，如果我们将fallback:true放在函数返回处，并且在构建时没有生成对页面的请求，那么Next.js据我所知，如果我们使用Next.js，getServerSideProps将预先呈现每个请求。但为什么我们需要它，当我们可以使用getStaticProps获得最新的数据，我认为这是更好的TTPB？
浏览 2提问于2021-02-09得票数 2
回答已采纳
2回答
如果我想要更改数据，我可以使用JS来完成，而无需重新加载页面。百事大吉。
但是，现在，我了解到元标签不能使用js更改，应该让它重新加载/刷新page...is，这是正确的吗？
浏览 14提问于2019-08-18得票数 2
我做了一个Vue.js SPA，因为它可能会影响搜索引擎优化(特别是因为我的大部分客户群不使用谷歌)，我在想:为什么不为它提供一个HTML版本呢？
浏览 0提问于2018-11-26得票数 1
1回答
我的需求是拥有一个特定路由的动态OG (Open图)标记，这是由特定组件使用的。因为我很难将这个组件转换成SSR，因为它是一个动态组件，它也用于另一个页面，比如实时组件(随着用户输入而改变)，所以我不认为它应该与SSR相关联，所以我想出了一个想法，我不知道它是否可行，它只将元标记呈现为
浏览 4提问于2021-01-13得票数 1
2回答
试图创建动态og:图像标签，供爬虫捕捉适当的缩略图。我有一个JS脚本，生成适当的og:image url，但是爬虫在搜索时似乎没有运行任何JS。有更好的方法吗？
浏览 0提问于2020-08-11得票数 3
回答已采纳
1回答
在同构React上处理SEO
、、、、
我正在使用React & Node JS来构建通用应用程序()。我也使用反应头盔作为库来处理页面标题，元，描述等，但我有一些问题，当我使用ajax动态加载内容时，谷歌爬虫无法正确获取我的网站，因为内容将被动态加载。有什么建议来解决这个问题吗？谢谢!
浏览 1提问于2016-09-26得票数 0
当我使用Selenium时，我可以看到浏览器GUI，是否可以使用scrapy或严格基于scrapy命令行？
浏览 4提问于2015-11-03得票数 1
回答已采纳
详细问题可在此链接中找到- 现在，在这种情况下，为不同的categoryId做搜索引擎优化似乎是不可能的，因为谷歌机器人不会在爬行时等待我的服务器响应。
浏览 1提问于2016-04-29得票数 0
我正在阅读关于网络蜘蛛的攻击和防御策略。假设我在我的网站上有敏感的信息，这些信息应该受到第三方网络蜘蛛的保护。Me:我将敏感数据设置为只对注册用户帐户可见的。游客帐户看不见他们，因此不能爬行。用例2：攻击者:注册(或购买)多个帐户，使用多个帐户以分布式和自动的方式爬行，因此单个帐户看起来不那么可疑。在这两个用例中，攻击者的方法实用吗？
防止这两次攻击的重要秘诀是什么？
浏览 0提问于2019-08-02得票数 3
回答已采纳
我有一个网站，主要功能动态内容。每一段动态内容都有自己的网址，如"www.example.com/page/\*/\*“
我遇到的问题是，其中许多页面都需要用户登录。我读过关于AdSense爬虫登录的文章，并试图实现它。但是，我发现没有提到通配符或URL的正则表达式。据我所知，AdSense爬虫登录只支持静态URL。是否有任何方法来设置支持一系列动态URL的AdSense爬虫登录？
浏览 0提问于2015-02-03得票数 3
1回答
对于社交共享，将会有元标签的动态值，例如og:title或og:image。我可以设置meta标记值。但当我查看facebook调试器时，它接受了旧的/默认的元内容。但是我们如何在VUE JS中做到这一点呢？提前谢谢。
浏览 6提问于2018-11-05得票数 0
2回答
如果内容是从JS文件动态生成的(见上图)，则Googlebot查看内容的方式与访问者不同(根本不对其进行索引)。假设我有以下代码：<div>Bunch of Content</div> <p>Date: timestam
浏览 3提问于2017-02-15得票数 0
我有一个电子商务模块，是动态加载/嵌入到第三方网站，没有iframe直接的JSON到web客户端的内容。除了我的javascript文件从它们的页面加载并动态生成内容之外，我根本无法访问这些第三方站点。
我知道#！方法，但这在这里不好，我的JS确实在嵌入式平台中生成"urls“，但它们是假的，并且仅用于地址栏，我不相信google爬虫能到达这么远。所以我的问题是，有没有一个元可以设置为指向url之外的地方，即返回到我的服务器上的静态爬虫内容。例如，将规范指向我的服务器...但我再说一次
浏览 0提问于2013-03-02得票数 2
回答已采纳
如果我通过JavaScript在页面中添加内容，它会被搜索引擎蜘蛛爬行并通过屏幕阅读器访问吗？var tip = "<p>Most computers will open PDF documents ";tip += "need to download <a title='Link to Adobe website-opens in a new window'";
tip +=" href='http://www.
浏览 2提问于2010-06-22得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
