我正在使用抓取工具从网站上抓取内容，我需要你们的帮助如何从ajax动态加载的回应。
当内容从ajax加载的同时，网址不变，保持不变，但内容会被改变，所以在这个事件上我需要抓取。
浏览 2提问于2012-03-06得票数 0
回答已采纳
我想使用js抓取一个网站，但网站使用ajax来分页内容。最初，您只能爬行第一页内容。你必须点击一个按钮(下一页)，网站使用ajax来更新网页内容。
问题:我可以使用js找到按钮，然后单击它。
浏览 0提问于2013-05-31得票数 0
回答已采纳
我试图从一个网站获取定价数据，但每次页面加载时，t类都会重新生成一个不同的字母序列，并且价格显示为 而不是数字。有没有什么技术可以让我以某种方式绕过它？谢谢!
浏览 1提问于2018-04-07得票数 0
我有一些页面，用urllib2打开它，然后通过BeautifulSoup传递(没有任何bs4参数)我能以某种方式解决这个问题吗？
浏览 0提问于2014-08-08得票数 0
7回答
我计划开始一个完整的ajax网站项目，我想知道搜索引擎优化。可以谷歌抓取该网站。是关于完整的ajax和SEO我必须注意的事情谢谢
浏览 0提问于2010-03-04得票数 5
回答已采纳
嗨，我已经成功地通过使用Python和正则表达式抓取了一些购物网站的所有页面。但现在我遇到了麻烦，要抓取某个特定网站的所有页面，该网站的下一页后续链接不存在于当前页面中，就像这里的我没有办法获得这些类型的网站的所有网页的源代码
浏览 0提问于2013-05-28得票数 0
我已经做了一个网站的SEO在angularjs 1使用幻影。该网站启用了html5模式真，所以不会有"#!“在URL中。我增加了一张$args ~ _escaped_fragment_支票。搜索引擎机器人会使用网址中的_escaped_fragment_访问网站吗？
浏览 0提问于2017-05-17得票数 2
2回答
我使用Python语言和BeautifulSoup来抓取存储。我想知道比价网站是如何从所有在线商店中抓取数据的？他们对不同的在线商店有不同的代码，还是有通用的代码？他们会研究每个在线商店的HTML模式吗？
浏览 40提问于2014-12-28得票数 7
回答已采纳
1回答
网络抓取器或收割机是从网站获取数据的软件，如果有人能推荐市场上提供的各种软件包，我将非常感激。
他们必须能够收获动态(像AJAX)建立的网站。
浏览 2提问于2011-12-08得票数 0
回答已采纳
如果网站使用AJAX和JavaScript加载内容，则可能很难从站点中抓取数据。数据可以动态生成并存储在JavaScript变量中，使web刮刀无法访问数据。
浏览 7提问于2022-05-11得票数 0
1回答
在过去，我使用urllib2库从网站获取源代码。然而，我注意到最近我一直在尝试使用的一个网站，我在源代码中找不到我需要的信息。非常感谢。
浏览 1提问于2015-05-03得票数 3
我想让我的网站可以被谷歌的搜索索引器抓取。
我正在使用crawljax自动化AJAX调用，并为我的网站的动态页面提供“静态页面”的快照。如何才能做到这一点？
浏览 1提问于2012-02-06得票数 2
1回答
由于我不得不使用服务器提供商，我们站点的一些页面必须使用ajax动态创建。因此，页面的内容区域在初始加载时是空白的，并在几分钟后填满内容。现在，当有人试图用Pinterest的“从网站添加”-tool来抓取网站的图片时，什么也没有显示出来。在Pinterest API中有解决这个问题的方法吗？一些标题标签等会让Pinterest在抓取之前等待片刻？
浏览 0提问于2014-05-14得票数 0
2回答
我编写了一个使用xpth和css.But获取数据的工作抓取器，我在页面中看到了这个元素，它使用javascript来填充一个选项卡式表。另外，我需要从每个选项卡的数据，请告诉我如何做到这一点，因为其他答案使用json，我不熟悉它。
浏览 6提问于2017-04-21得票数 1
回答已采纳
2回答
我使用apache Nutch 1.10来抓取网页并提取页面中的内容。其中一些链接包含动态内容，这些内容是在调用ajax时加载的。Nutch无法抓取和提取ajax的动态内容。我该如何解决这个问题呢？
浏览 1提问于2015-10-06得票数 3
当我选择不同的选项时，页面的内容会动态变化。我想知道是否有一种方法可以从python脚本中更改选项，以便从<select>标记中的所有不同选项的所有不同页面获取内容。
浏览 6提问于2012-09-10得票数 4
2回答
我的网站是基于ajax的。我有一些id=content的div，它是由.get-request (从jquery)动态生成的。我如何抓取点击这些链接并重新加载页面？ alert('Clicked!');这不是警报。
浏览 0提问于2012-11-22得票数 1
回答已采纳
有没有办法让这样的ajax页面对Google (和一般的搜索引擎)可用来建立索引？
谢谢。
浏览 4提问于2011-02-22得票数 0
回答已采纳
我正在使用crawler4j来抓取网站。我正在通过抓取这些网站收集所需的信息。我在这里的问题是，我无法抓取以下网站的内容。。我想从上述网站抓取以下信息(请查看附呈的截图)。 return this.processUrl(argUrl);}
我能够从上述链接/站点中抓取</e
浏览 2提问于2014-06-23得票数 9
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号