1回答
爬虫可以正确地请求页面，但问题是几乎所有内容都是通过knockout.js动态加载的。爬虫程序目前无法请求此内容，这导致只加载了页面的一小部分。我试着让程序等待，希望动态的请求无论如何都会被发送，但这似乎不起作用。如何才能使crawler请求所有数据？
谢谢!
浏览 12提问于2019-07-09得票数 0
1回答
在同构React上处理SEO
、、、、
我正在使用React & Node JS来构建通用应用程序()。我也使用反应头盔作为库来处理页面标题，元，描述等，但我有一些问题，当我使用ajax动态加载内容时，谷歌爬虫无法正确获取我的网站，因为内容将被动态加载。有什么建议来解决这个问题吗？谢谢!
浏览 1提问于2016-09-26得票数 0
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
详细问题可在此链接中找到- 现在，在这种情况下，为不同的categoryId做搜索引擎优化似乎是不可能的，因为谷歌机器人不会在爬行时等待我的服务器响应。
浏览 1提问于2016-04-29得票数 0
1回答
我的需求是拥有一个特定路由的动态OG (Open图)标记，这是由特定组件使用的。因为我很难将这个组件转换成SSR，因为它是一个动态组件，它也用于另一个页面，比如实时组件(随着用户输入而改变)，所以我不认为它应该与SSR相关联，所以我想出了一个想法，我不知道它是否可行，它只将元标记呈现为
浏览 4提问于2021-01-13得票数 1
我正在为一个特定的网页写一个网页抓取器，我正在用"urllib2.Request( MyURL )“和"BeautifulSoup”来做这件事，但问题是在myURL中有一个页面分页，下一个页面通过点击一个链接加载现在，如果不从Python执行这个Javascript函数，我就无法获得完整的页面清单。如何从Python中调用此Javascript方法，以便获取该网页所有页面？
浏览 2提问于2012-11-19得票数 8
回答已采纳
我们使用prerender类型的软件为爬虫呈现我们的单页面应用程序，我们想要排除所有按印象付费的第三方script标签。使用writeln或通过创建dom元素在JS中动态加载它们意味着等待JS被解析以导入非常重要的库(比如Optimizely --我们希望尽可能早地加载它，以避免dom闪现)。
有没有类似于<!
浏览 2提问于2017-10-11得票数 0
2回答
如果内容是从JS文件动态生成的(见上图)，则Googlebot查看内容的方式与访问者不同(根本不对其进行索引)。/></body><body> <p>Date: timestamp by JS<
浏览 3提问于2017-02-15得票数 0
我有一个电子商务模块，是动态加载/嵌入到第三方网站，没有iframe直接的JSON到web客户端的内容。除了我的javascript文件从它们的页面加载并动态生成内容之外，我根本无法访问这些第三方站点。
我知道#！方法，但这在这里不好，我的JS确实在嵌入式平台中生成"urls“，但它们是假的，并且仅用于地址栏，我不相信google爬虫能到达这么远。所以我的问题是，有没有一个元可以设置为指向url之外的地方，即返回到我的服务器上的静态爬虫内容。例如，将
浏览 0提问于2013-03-02得票数 2
回答已采纳
当我使用Selenium时，我可以看到浏览器GUI，是否可以使用scrapy或严格基于scrapy命令行？
浏览 4提问于2015-11-03得票数 1
回答已采纳
登录后，我查看了facebook中的html代码，他们似乎对JS文件做了很多请求(根据firebug，多达20个)。所以，虽然我知道facebook需要加载许多JS和CSS文件(而不是一个JS和一个CSS文件)，但我的问题是更通用的网站和网络爬虫的状态。我们应该担心这些技术(通过ajax加载主要内容)会影响网络爬虫(googlebot和朋友)吗？我想提高性能，加载“稍后需要”的内容(text/js/css)似乎是个
浏览 2提问于2013-03-18得票数 3
由于网站每5秒通过JavaScript更新一次表，因此无法为此编写爬虫程序，它是动态加载的。
我想要这个网页中的数据表，但我不知道如何使用Java或Python来实现。我已经搜索了很多，大多数答案都是关于“如何从服务器流式传输数据”这样的问题，但我想要的恰恰相反，我如何从网页读取动态流式/推送的数据？
浏览 19提问于2016-08-26得票数 0
4回答
在页面加载之后，我在jQuery.ready(...)上有一个jQuery.ajax({})，然后我使用一些json数据填充内容。
浏览 0提问于2012-03-23得票数 1
回答已采纳
3回答
我想知道为什么爬虫不运行javascript来获得呈现的页面和索引。这背后有什么原因？或者这是搜索引擎未来可能会出现的一个缺失的特性？
浏览 4提问于2013-10-10得票数 17
回答已采纳
1回答
使用Javascript加载桌面或大屏幕HTML
不过，我在这里有个问题。据我所知，我将使用javascript加载的HTML内容不会被搜索引擎读取？谁能告诉我，是否可以做SEO友好的条件加载使用Javascript？或者，我是否需要查看服务器端语言即PHP/ASP来使用设备检测加载内容？
浏览 6提问于2012-10-18得票数 4
回答已采纳
我正在阅读关于网络蜘蛛的攻击和防御策略。假设我在我的网站上有敏感的信息，这些信息应该受到第三方网络蜘蛛的保护。Me:我将敏感数据设置为只对注册用户帐户可见的。游客帐户看不见他们，因此不能爬行。用例2：攻击者:注册(或购买)多个帐户，使用多个帐户以分布式和自动的方式爬行，因此单个帐户看起来不那么可疑。在这两个用例中，攻击者的方法实用吗？
防止这两次攻击的重要秘诀是什么？
浏览 0提问于2019-08-02得票数 3
回答已采纳
1回答
搜索引擎爬虫会使用Javascript和API调用来索引动态加载的内容吗？或者我必须通过服务器端编程(PHP、ASP等)加载此内容。
浏览 7提问于2012-09-03得票数 1
回答已采纳
爬虫在我的头中没有通过脚本附加的meta标签：有没有合适的JS代码格式可以不阻止爬虫抓取我的脚本？
浏览 1提问于2020-12-15得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
