1回答
视频是在点击' videos‘标签时加载的(我猜是通过JS )。当加载视频时，还有分页，每个页面上的视频都是在点击时加载的(我猜是通过JS )。 下面是它的外观 ? 当我检查元素时，下面是我得到的结果 ? 我的问题是，我似乎不能获得所有页面上的所有视频，我只能获得第一页。这是我的代码， from selenium import webdriver
from
浏览 18提问于2020-07-23得票数 3
回答已采纳
我在玩从网站上抓取数据的游戏，感觉自己就快想出解决方案了。问题是它一直只返回url的第一页，即使代码中的url在每次迭代中都改变了页码。我使用的网站是，而我试图抓取的具体数据表是SPY Holdings (其中显示506个持股，然后列出苹果、微软等)。正如您将注意到的，数据表有一堆页面(这会根据滚动条符号发生变化-但出于此目的，只需注意，尽管SPY有34页，但并不总是34页)。它首
浏览 11提问于2017-08-31得票数 3
回答已采纳
2回答
我有一个网站，其中有很少的数据存在，一些数据是在分页格式。但是，当我尝试使用view-source来获取url的HTML数据时，却没有在其中找到分页数据。并且当我转到分页数据的第二列时，url也不改变。我的问题是：
How to fetch the hidden data or data that is bought by Javascript
浏览 0提问于2013-05-17得票数 1
4回答
我有一些javascript，它向一个PHP页面发出ajax请求，该页面收集并解析一些XML并将其返回给显示(例如，有4000个节点，PHP将结果分页为100块，您将有40个“页面”的数据)。如果有人单击其他页面中的一个(除了最初加载的页面)，则会发出另一个请求，PHP加载该大XML文件，抓取索引的子集(如记录200-299)并返回它们以供显示。我的问题是，是否有一种方法只加载该X
浏览 7提问于2010-01-29得票数 1
回答已采纳
我正在尝试使用抓取来获取分页数据。使用on-click事件检索下一页数据，是否可以检索？这是我用来抓取的网址：
<input type="submit" onmousedown="restorePreEdits()" onclick="javascript:scrollPage
浏览 0提问于2015-09-19得票数 1
4回答
我已经开发了一个3层的应用程序，我有一个关于从数据库填充数据的问题。我的应用程序有一个从数据库查询大数据的窗口，这个过程需要很长时间。(我的客户端离服务器很远，它之间的连接速度是128KB/s)。然后我开始思考解决这个问题的办法。解决方案是每隔y秒填充x条数据记录。(例如:先填充10条记录以在UI上显示，然后每5秒显示10行以上)。
这是解决这个问题的好
浏览 1提问于2009-03-02得票数 0
回答已采纳
7回答
我在网页抓取工作中实现了AJAX分页，因为网站是在asp即扩展.aspx页面中开发的，我曾尝试提交分页表单以从其他页面获取数据，但没有任何成功，看看这里的代码我使用了，所以我的问题是如何从php点击分页链接，即是否可以在服务器端运行jQuery或javascript？我知道Node.js可以在服务器端运行javascript，但不知道如何在Apache和PHP上使用它。
浏览 3提问于2013-02-27得票数 7
回答已采纳
我试图抓取一个多页的网站，分页是用javascript完成的。该网页如下：
网页只是一个例子。在网页上使用相同的分页来显示所有提出立法的法案，列表，这些法案最终将被刮掉。使用Chrome中的开发人员工具并检查网络活动，我无法找到点击页码时发送的参数。用于分页的javascript似乎是这样的(cbpHorizo
浏览 1提问于2020-06-04得票数 0
2回答
我正在加载一个URL，并正在寻找一个应该存在于HTML中的特定节点，但是它每次都返回null。实际上，我试图找到的每个节点都返回null。我在其他网页上使用了相同的代码，但由于某种原因，在这种情况下，它不起作用。HtmlDoc是否正在加载与我在浏览器中看到的源不同的内容？显然，我对web抓取很陌生，但我多次遇到这种问题，我不得不做一个精心设计的解决方案，因为我无法选择一个在浏览器中可以看到的节点。我
浏览 2提问于2019-05-17得票数 0
回答已采纳
当我在我的个人机器上运行它时，它运行的非常好，但是当我在服务器上运行它时，结果是不一样的。在服务器上，我使用pyvirtualdisplay运行无头程序。browser.get('https://example.com') 这是我的pyvirtualdisplay代码。display = Display(visible=0, size=(800, 600))在本地机器上运行时
浏览 5提问于2016-06-15得票数 3
1回答
如何用Ruby抓取动态网站
、、、、
我想刮一个反应网站，有产品的名称和描述。HTML结构如下所示： </span> </span>如果描述的行数过多或过少，则span标记的</e
浏览 0提问于2018-10-16得票数 0
最初的要求是在内存中有一个完整的列表(不使用RoomDB)，我想在用户滚动时对该数据进行移动“查看”-即以页面的形式将其提供给适配器。我已经通过使用PositionalDataSource。然而，现在我有了一个新的要求。原始完整列表中的一些项实际上是“加载”项(即微调器)，我需要获取这些单元格以块形式表示的数据。这些块的大小尚未确定。当一个块加载时，“加载”项应该
浏览 23提问于2021-02-23得票数 0
回答已采纳
2回答
我正在制作一个Django页面，它有一个侧边栏，其中包含一些从外部网站加载的信息(例如，公交车到达时间)。
我是web开发的新手，我认识到这是一个瓶颈。实际上，在从其他站点加载数据时，页面会挂起不到一秒。在获得此信息之前，它不会显示任何内容，因为在将数据烘焙到html之前，它会运行python脚本来获取数据。理想情况下，它会显示直接从我的web服务器加载的大部分页面，然后有一个小的
浏览 1提问于2012-04-17得票数 1
1回答
谁能解释一下如何使用nokogiri检索价格的值？出现在我创建的刮板上的值是this Costa RicaIndiaCaramelito
<span cl
浏览 13提问于2019-03-22得票数 1
回答已采纳
1回答
分页内内容的异步加载
、、、
我正在搜索一个从服务器异步加载数据分页示例。我不知道如何使用javafx的分页控件来解决这个问题。我举了一个例子，一个可观察的列表在后台加载了10k个项目。但我只想在实际需要的时候加载页面的项目。因此，只有当用户切换到下一个页面时，我才想用任务抓取接下来的20个项目。当任务完成时，应该呈现页面。链接到可观察的示例：
浏览 2提问于2013-04-23得票数 2
回答已采纳
目前，它允许用户查看一组“产品”，他们可以删除、编辑或添加到(创建新的)。添加和编辑都是通过允许用户使用一些javascript/css在屏幕顶部显示的表单上填写/编辑值来实现的。我遇到的问题是，我需要允许管理员选择一个图像，以便与他们使用此表单创建或编辑的产品相关联。为了方便起见，让我们假设所有可选的图像都已经保存在"ROOT/ images“文件夹中。如何为用户提供一个很好的</em
浏览 2提问于2011-11-08得票数 3
回答已采纳
1回答
抓取时有没有使用哪些标签的逻辑？现在，我只是在对不同的标签变体进行“反复试验”，看看哪种标签是有效的。这需要很多时间，而且真的很令人沮丧。我不能理解为什么有些标签能工作，有些不能。div', attrs={'id':'YDC-Lead-Stack-Composite'})为什么第一个例子(test1)返回值，第二个例子(test2)没有返回值，有什么合理的解释吗有没有一种有效的方法来知道哪些标
浏览 0提问于2020-05-25得票数 0
3回答
如何提高分页速度
、、、
在我的项目中，我使用PHP进行了分页，具体如下:每个按钮(下一页和前一页)都是超链接，通过传递GET变量(PAGENUMBER)链接到同一个页面。对于每一页更改，都有以下脚本：
问题是它正在缓慢地工作。在每次连接到db和查询数据并关闭db连接时，是否有其他方法。另外，在分页期间，我只想重新加载来自DB的数据，页面中
浏览 2提问于2013-03-16得票数 0
我想抓取一些网站。我正在使用selenium/PhantomJS抓取JS(react、angular、jquery等)。和python爬行其他所有的东西。我的主要问题是，我无法区分页面是否使用JS加载。
任何想法都将受到欢迎！
浏览 2提问于2018-03-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
