如何做网页抓取使用php，curl的网页，无限滚动和ajax调用？

文章/答案/技术大牛

发布

1回答

php、jquery、ajax、curl、web-scraping

一些网站有无限的滚动条，并使用AJAX分页加载信息。我想用我在PHP和curl中使用的代码抓取web数据。我是个从网页上抓取数据的新手。<?php $ch = cu

浏览 12提问于2016-07-22得票数 0

1回答

有没有任何快速的方法来刮一个有无限滚动的网站？

python、web-scraping

我正在尝试使用python来抓取一个用无限滚动实现的网站。实际上，网络就是pinterest。我知道如何使用selenium来抓取具有无限滚动的web。但是，WebDriver基本上模仿了访问web的过程，而且速度慢得多，比使用BeautifulSoup和urllib进行抓取要慢很多。你知道有什么时间有效的方法来刮一个无

浏览 0提问于2014-12-29得票数 0

回答已采纳

1回答

在没有selenium的情况下，任何方法都可以在python中爬行无限滚动的web吗？

web-scraping、web-crawler、infinite-scroll

我想抓取网页，如quora，pinterest等，我发现所有的例子都使用selenium来模拟滚动动作，但打开一个新窗口进行滚动和抓取是缓慢和低效的。有没有更有效的方法来抓取无限滚动的页面？

浏览 2提问于2015-06-23得票数 1

2回答

怎样才能用PHP* curl抓取一个无限滚动的网页？*

php、curl、imgur

我想知道如何在循环中进行抓取(第1页，第2页等...)一个有无限循环(如imgur)的网页，例如...？<?php curl_setopt($ch, CURLOPT_MAXREDIRS, $mr);

浏览 1提问于2013-01-20得票数 3

回答已采纳

5回答

如何在网站上获取javascript/ajax* -loaded目录的内容？*

php、javascript、ajax、screen-scraping

我有一个PHP脚本，通过使用CURL和simple_html_dom PHP库从另一个网站加载页面内容。这很好用。如果我回显返回的HTML，我可以看到那里的div-content。但是，如果我尝试使用simple_html_dom只选择div，那么div总是返回空。一开始我不知道为什么。现在我知道这是因为它的内容显然是用javascript/ajax填充的。在javascript用正确<e

浏览 1提问于2011-09-03得票数 7

2回答

使用htmlunit抓取动态网页

javascript、ajax、web-crawler、htmlunit、infinite-scroll

我正在使用HtmlUnit从一个动态网页中抓取数据，它使用无限滚动来动态获取数据，就像facebook的新闻馈送一样。我使用下面的句子来模拟向下滚动事件：webclient.setAjaxController(new NicelyResynchronizingAjaxControllerwebclient.waitForBackgroundJavaScrip

浏览 1提问于2012-08-25得票数 12

1回答

如果得到3xx状态码，php* curl会立即重定向*

php、curl、http-status-codes

我正在用php和curl创建网页抓取。我发现如果http respond的状态码是3xx，curl仍然会下载正文内容。如果正文内容很小，我认为这没有问题，但在我的例子中，有3xx的页面和巨大的正文内容。我只是想立即重定向，如果它得到3xx没有得到正文内容。如何做到这一点？

浏览 0提问于2013-04-03得票数 0

1回答

如何将jQuery滚动事件添加到动态添加的div？

jquery

我的工作是无限滚动的网页和页面动态呈现的ajax调用。我无法将滚动事件添加到html内容。我使用了以下jQuery函数。</div> 任何帮助都是非常感谢的。

浏览 2提问于2015-07-18得票数 0

1回答

验证来自cURL的完整响应

php、curl、web-scraping

有时，当使用多个并发连接和抓取我的PHP脚本中的cURL时，会返回不完整的网页。curl_getinfo()中有没有一些值可以让我知道一个网页是100%被抓取还是只有90%被抓取？返回页面的内容大小标题是返回内容的实际大小，还是整个页面的大小？如果是这样，我可以根据响应的实际大小检查content-size。谢谢!

浏览 0提问于2013-04-12得票数 0

回答已采纳

5回答

调用网页而不暂停脚本

php、curl

是否有任何方法可以使用curl或其他任何方法调用网页，而不暂停调用脚本？换言之：..call_web_page();.php codes 2 here 脚本在php代码中运行，然后调用网页并继续执行php代码，而无需等待被调用的网页的结果不需要call_web_page()

浏览 5提问于2011-04-04得票数 1

回答已采纳

1回答

使用Masonry开始无限滚动

javascript、jquery、ajax、ajaxform

我是无限滚动的初学者，我从来没有用过它。我试着在我的网站上使用这个代码。我试着在滚动到页面底部到页脚时得到提醒。我的主要目标是加载更多的HTML包含使用ajax和无限滚动时，网页滚动到底部的墙壁div。<div id="wall"></div>。这个div有

浏览 2提问于2017-05-10得票数 0

4回答

从格式不佳的网页中刮取数据

php、curl、web-scraping

我在试着从网页上抓取数据。网页可以是任何网页。例如，我正在使用http://www.google.com/使用curl进行抓取。它发出了这么多警告，却什么也不做。警告在第30行：这个错误重复了好几次。我听说了simplehtmldom，我下载了它，但不知道如何<

浏览 3提问于2012-10-03得票数 0

1回答

如何保证在php中使用CURL准确地抓取utf-8字符？

utf-8、curl、screen-scraping

我正在抓取带有重音字符(如"é")的网页(使用php的curl)。在这些网页的源代码中，这些字符是使用utf-8编写的(它们不是html编码的)。但是，当使用以下代码生成结果时，我得到的是问号而不是重音字符。$ch = curl_init();curl_seto

浏览 2提问于2009-08-03得票数 1

2回答

如何使用curl或wget访问(而不是下载)页面

curl、wget

我试图使用wget/curl获取一个页面来执行它的html/脚本。我不在乎下载实际的页面，只是页面上的脚本运行。有命令可以这样做吗？谢谢!

浏览 5提问于2015-10-24得票数 1

回答已采纳

1回答

无法从yahoo获得我的站点的结果，因此需要跨域功能。

jquery、ajax

xmlhttp.onreadystatechange=function() { if (xmlhttp.readyState==4) { window.alert(xmlhttp.status)；}} 的上述代码显示状态200在IE，但在火狐和Chrome获得了状态0应有的跨域功能。有谁能帮助使用java脚本.克服这种跨域功能吗？

浏览 1提问于2012-11-23得票数 0

回答已采纳

1回答

当ajax调用返回响应时，使用javascript替换浏览器url而不重定向。

javascript、php、jquery、ajax、wordpress

我正在寻找解决方案，以取代网址，而不是重新加载的网页。我正在使用无限滚动javascript plugin.When ajax调用返回结果，我想用新的帖子url替换url。ajax调用的响应：。我想在不重新加载的情况下用the post-testing替换category。我使用了document.location.hash和</em

浏览 1提问于2015-06-21得票数 0

3回答

在后台运行php脚本

php、email

我有一个需要很长时间才能处理的脚本，让我将其命名为form1.php现在我需要的是，当我从form1.php发布到form2.php时，浏览器应该显示一条消息，说明正在处理。邮件将被发送到所有员工的电子邮件地址，用户应该被重定向到form2.php，

浏览 1提问于2011-04-26得票数 0

2回答

有没有一个库可以在AJAX/javascript中艰难地运行？

java、php、ajax、curl、screen-scraping

我正在使用PHP从网页上抓取一些信息，然而，我发现我试图从页面上抓取的信息是通过某种AJAX/javascript方式加载的。我以为我记得Curl可以遍历javascript，但我发现事实并非如此。我似乎记得某种后端的"web浏览器“库/函数，它可以通过javascript和AJAX追踪，得到一个功能齐全的浏览器所能达到的</

浏览 0提问于2012-06-17得票数 0

回答已采纳

3回答

一种有效的网页刮除方法

php、substring、web-scraping

可能重复：使用CURL检索html，将内容的两边的html Echo输出到一个新页面上我的问题是我不太精通PHP，所以我不知道如何处理html的两个块。我以前在

浏览 6提问于2012-10-22得票数 0

回答已采纳

1回答

HTML Javascript网页内容读入var

javascript、html

我做了一个java程序(实际的程序)。阅读此网页内容的网页(如。( "25.25.25.25")并在jLabel中显示它(使用NetBeansIDE1.7.3)，它可以工作。现在，我如何阅读这个网页的内容(例如。( "25.25.25.25")并将其显示为网页上的正常文本(最后的网页必须是.html，而不是.php或其他什么)？我不介意任何脚

浏览 2提问于2014-05-30得票数 0

点击加载更多