我想用php做一个简单的爬虫，它可以让我获取网页中的链接，回显它们的url，然后爬行到其他页面，在某个特定的域名下做同样的事情。这里有必要使用cURL吗？Also..how会指定爬虫的深度。
到目前为止，我有这样的想法：
$dom = new DOMDocument;
$dom->loadHTML($html);
foreach( $dom->getElementsByTagName('a') as $node ) {
echo $dom->saveXml($node), PHP_EOL;
}
浏览 1提问于2011-07-06得票数 0
回答已采纳
1回答
我一直试图了解如何在php中使用史努比类。我试着用史努比从谷歌搜索任何东西。我发现谷歌搜索的形式是name=q，动作=/搜索
如何将我的史努比代码设置为正确的代码。
$s=new Snoopy();
$form=array("q"=>"spiderman");
$s->httpmethod = "GET";
$s->submit("http://www.google.com",$form);
echo $s->results;
我得到了405个结果。
浏览 1提问于2014-05-07得票数 0
回答已采纳
1回答
我正在尝试通过PHP中的GET将数据发送到url。在收到另一个问题的答案后，我决定使用。问题是，对于这个类中的方法，我似乎找不到非常好的文档/示例。
我看到了->httprequest()方法，但我不知道在哪里可以将值的数组与请求一起添加。
有没有更熟悉的人能帮上忙？
浏览 0提问于2009-02-20得票数 1
回答已采纳
3回答
我是php的初学者，我正在编写简单的程序，并使用一些爬行网站(不是私人信息)。我所期望的结果是HTML代码，比如一个
<html><head><title>blabla blabla</title></head>...................
但是我检查了结果，屏幕显示出来了。例如，不是原始代码，
include "Snoopy.class.php";
$snoopy = new Snoopy;
$snoopy->fetch("http://stackoverflow.com/");
e
浏览 1提问于2015-06-15得票数 0
2回答
以下代码来自，代码运行良好。
这是一个在codeigniter中使用的示例。
Q1。我是不是说我不能用
$this -> load -> library('snoopy')
因为Snoopy.php不创建对象。下面的例子就是这样做的吗？如果是这样的话，你能给我解释/指导我如何做的详细的教程或解释吗？
if ( ! class_exists('Snoopy'))
{
require_once(APPPATH.'libraries/Snoopy'.EXT);
}
Q2。作者为什么要使用
$to_specia
浏览 0提问于2009-10-03得票数 3
回答已采纳
我想解析这个主页上的数据。如您所见，这个url是HTML文件，我在下面读到：
// Create a DOM object from a HTML file
$html = file_get_html('test.htm');
所以我只需在下面输入一个代码
include "simple_html_dom.php";
$html = file_get_html('eecs.kookmin.ac.kr/site/computer/notice.htm');
echo $html->plaintext;
错误信息是：
错误消息警告: file
浏览 3提问于2016-11-04得票数 0
回答已采纳
我想自动登录到我的wordpress管理员来执行一些操作，所以我使用了。我的示例代码如下所示
<?php
include 'Snoopy.class.php';
$snoopy = new Snoopy;
$submit_url = "http://localhost/wordpress/wp-login.php";
$submit_vars["log"] = "admin"; //username
$submit_vars["pwd"] = "admin"; //passwor
浏览 0提问于2014-07-28得票数 0
当我将file_get_contents与url (或其他)一起使用时，它将以不同的上下文、user_agent等返回false：
file_get_contents(打开流:操作失败)
但是，当我们对本地文件使用file_get_contents()时，它可以工作。但是，当我们试图通过http访问任何文件时，它会显示上述错误。
我使用cURL进行了同样的尝试，得到了以下错误：
cURL错误(7)：无法连接到主机
根据堆栈溢出的一些解决方案，我们在php.ini文件中更改了此设置：
ini_set('allow_url_fopen', 1);
包括史努比clas
浏览 5提问于2017-03-14得票数 3
回答已采纳
3回答
我想在我的博客中显示我的Twitter信息。所以我写了一些代码来获取它。
我得到的问题是中文字符显示为未知的代码。
这是测试代码。有没有人可以看一下并帮助一下？谢谢
<html>
<title>Twitter Test</title>
<body>
<?php
function mystique_objectToArray($object){
if(!is_object($object) && !is_array($object)) return $object;
if(
浏览 2提问于2010-10-10得票数 1
3回答
我将如何着手编写一个简单的PHP机器人，它可以登录并接收服务器发送的所有cookie？然后在需要的时候把它们送回去？
如有任何建议，我们将不胜感激。
浏览 0提问于2009-08-01得票数 0
我正在使用硒来‘废纸’网页寻找反向链接到我的网站。我一直在使用普通的curl来抓取，但是curl在JavaScript上玩得并不好(实际上它们根本不能玩)。
我的问题是，我需要来自我抓取的页面的HTTP头响应(200,301,404,503等)代码。理想情况下，我希望获得的IP地址的域名，我正在抓取以及。
我在下面的链接中使用php的facebook PHP webdriver，但我找不到如何检索任何标题信息。
我的问题是，有没有办法让Selenium返回头信息和/或IP地址？
如果您不知道这个问题的答案，那么您有没有更好的方法来抓取或获取HTTP头？
提前谢谢。
浏览 0提问于2013-04-06得票数 1
回答已采纳
6回答
因此，我经常检查我的账户中是否有不同的数字。例如，我的代销商帐户:我检查现金增加。
我想编程一个脚本，它可以登录到所有这些网站，然后抓住我的钱的价值，并显示在一个页面上。我如何对此进行编程？
浏览 0提问于2009-09-24得票数 0
回答已采纳
3回答
HTML页面抓取
、、、
抓取具有AJAX/动态数据加载功能的网页的最佳方式是什么？
例如:抓取一个网页，该网页加载了20张图片，但当用户向下滚动页面时，它会加载更多的图片(有点像Facebook)。在这种情况下，如何抓取所有图像，而不仅仅是前20个图像？
浏览 0提问于2012-12-06得票数 3
我不得不创建一个PHP for循环来获取每个URL地址。我真的很感谢你事先的帮助。
URL是这样递增1的：
http://www.4hb.com/letters/index.html
http://www.4hb.com/letters/index1.html
http://www.4hb.com/letters/index2.html
http://www.4hb.com/letters/index3.html
下面是我的代码：
for ($i=1;$i<3;$i++) {
$url="http://www.4hb.com/letters/index".$i.&
浏览 1提问于2016-04-29得票数 0
我想使用PHP来抓取我们有大约6,7000个href链接的文档。我们需要的是链接另一侧的内容，这意味着PHP必须跟随每个链接并抓取链接的内容。这可以做到吗？
谢谢
浏览 0提问于2009-09-17得票数 0
Google检测到返回404错误(未找到页面)的URL数量显著增加。调查这些错误，并在适当的地方修复它们，确保Google能够成功地抓取站点的页面。
让我知道为什么谷歌在抓取该网站时会出现这样的错误。我想提醒大家，由于我已经重写了.php页面的规则
我在哪里做错了网页和内容之间的内部链接？因为我已经更新和纠正链接后，从网站管理员工作人员团队收到这条消息。
请检查和调查内部链接，并确认我是否再次错过了什么？
好心的建议。
我会感激的。
浏览 3提问于2013-11-30得票数 1
回答已采纳
什么样的语言能够处理编写自己的网页爬虫？
PHP能处理这个问题吗？我非常熟悉PHP (遵循最佳实践等)。
但是如果我需要的话，我想有一个很好的理由去学习一门新的语言。
这个想法是抓取一个有多个条目的特定网站，就像一个RSS提要，但是他们不提供该站点的RSS提要.
浏览 0提问于2011-08-02得票数 0
回答已采纳
5回答
我正在建立一个定制的电子商务解决方案，我使用的支付系统要求我发送HTTPS帖子。
我如何使用php (和CURL)来完成这个任务，这与发送http帖子有什么不同吗？
更新：
谢谢你的答复，它们非常有用。我想我需要购买SSL证书才能工作，显然我会为最终的站点购买SSL证书，但是有什么方法可以让我在不购买SSL证书的情况下测试它呢？
谢谢你，妮可
浏览 10提问于2009-07-20得票数 19
回答已采纳
1回答
我试图通过网页抓取一个超文本标记语言网页https://streamelements.com/logna/leaderboard，但我在火狐的inspect元素中看到的超文本标记语言代码与该网页的超文本标记语言源代码不同。 像这样的网页抓取是有可能的吗?或者有没有一种方法可以通过inspect元素来获取代码？
浏览 16提问于2020-05-02得票数 0
回答已采纳
1回答
如何使用Snoopy PHP检索两个标签之间的文本示例：
<html>
<body>
<h1> Test </h1>
</body>
</html>
在这个例子中，我想要获取"Test“，谢谢
浏览 0提问于2012-05-18得票数 0
回答已采纳
当一个网页抛出一个“潜在的危险脚本”错误时，我正在尝试抓取它。每次我这样做，我得到一个服务器500，但我可以抓取一个正常的，可操作的页面。有没有一种方法可以在网页抛出错误的时候抓取它？
谢谢
浏览 1提问于2009-04-29得票数 0
回答已采纳
1回答
有时，当使用多个并发连接和抓取我的PHP脚本中的cURL时，会返回不完整的网页。curl_getinfo()中有没有一些值可以让我知道一个网页是100%被抓取还是只有90%被抓取？
返回页面的内容大小标题是返回内容的实际大小，还是整个页面的大小？如果是这样，我可以根据响应的实际大小检查content-size。
谢谢!
浏览 0提问于2013-04-12得票数 0
回答已采纳
1回答
我正在写一个Android应用程序，我需要做一些我认为非常简单的事情，但我有最难弄清楚的时候。
如何获取JPG文件的路径，以便上传到服务器？
该文件为snoopy.jpg，位于res/drawable文件夹中
我试过了：
File sourceFile = new File("android.resource://com.appname.something/drawable/snoopy");
但是，这不是一个文件
我试过了：
File sourceFile = new File("drawable/snoopy");
这是行不通的。
我尝试将s
浏览 0提问于2014-06-11得票数 0
1回答
我使用PHP简单的HTML DOM分析器定期从不同的网站抓取一些信息，使用Chrome的DOM检查器来分析如何获取我想要的信息。
一个网站(即TPB)没有适当的HTML代码。因此，Chrome的渲染引擎添加了一些额外的HTML标记来完成标记。我没有意识到这一点，当我的代码不起作用，并且没有输出我试图抓取的信息时，我感到很困惑。
下面是表主体的原始代码：
现在，相同的代码，但来自Chrome的DOM检查器
我的问题是，是否可以使用Chrome或其他浏览器/扩展/工具来检查原始HTML代码的DOM，而不是浏览器呈现的代码？
这将使我的网页抓取更容易，使用Chrome的伟大检查器
浏览 2提问于2018-04-11得票数 0
我知道关于PHP页面抓取器的问题已经被问了一次又一次，利用这个问题，我发现了SimpleHTMLDOM。在本地服务器上无缝工作后，我将所有内容都上传到了我的在线服务器上，结果却发现有些东西不能正常工作。快速浏览一下常见问题将我带到。我目前使用的是免费主机服务，因此请编辑任何php.ini设置。因此，根据常见问题解答的建议，我尝试使用cURL，结果发现这也被我的托管服务关闭了。有没有其他简单的解决方案可以在不使用cURL或SimpleHTMLDOM的情况下抓取另一个网页的内容？
浏览 11提问于2010-10-07得票数 2
回答已采纳
1回答
我想要做下面的例子，这样就可以使Collar是不可变的
trait Collar{
var text:String="";
}
class dog(val name:String){
def bark()= ...
}
val snoopy = new dog("snoopy") with Collar;
snoopy.text="charley's dog";
println(snoopy.text)
然而，当我尝试像这样的东西时
trait Collar(val tex
浏览 2提问于2013-05-01得票数 1
回答已采纳
我在刮网页。该网页由50个条目组成。在50条条目之后，它提供了一个加载更多的结果按钮。我需要自动选择它。我该怎么做呢。为了抓取，我使用Python，Lxml。
浏览 0提问于2014-06-19得票数 3
回答已采纳
3回答
如何在java中操作类？
、、、
我知道几种编程语言。其中大多数是脚本语言，如lua、perl、JS、ruby等。
但是最近，我开始用Java编程，它可以很安静地工作。所以我一直在想JS中存在的一种功能。建筑工人的原型，也就是。为了进一步理解我的问题是什么，我将在JS中做一个例子。假设您想要创建狗的应用程序。
function dog (){
this.property1 = value;
this.propertr2 = value2;
this.propertyN = valueN;
//etc.
}
//now, I will create several instances of the constructor in
浏览 8提问于2013-01-06得票数 0
回答已采纳
我正在尝试使用python来抓取一个用无限滚动实现的网站。实际上，网络就是pinterest。我知道如何使用selenium来抓取具有无限滚动的web。但是，WebDriver基本上模仿了访问web的过程，而且速度慢得多，比使用BeautifulSoup和urllib进行抓取要慢很多。你知道有什么时间有效的方法来刮一个无限滚动的网页吗？谢谢。
浏览 0提问于2014-12-29得票数 0
回答已采纳
我已经在我的公司网站上工作了大约10天，完全将我的网页通过$.ajax提供内容，并通过jquery构建内容。现在我发现google不会看到我的页面内容，因为它是通过javascript生成的。我已经验证过，在chrome中，当我转到View Source时，我看不到任何我通过Jquery创建的html元素。
如何让google抓取这些DIV或者说HTML？
例如：
$('.wrapper').html("<div class=\'product\'> This is Product 1 </div>");
谷歌抓取.pro
浏览 1提问于2013-11-21得票数 0
正如我所相信的那样，我不能从javascript网页上抓取“解决方案”字段。网页地址：我需要提取描述，原因和解决方案。
尝试了各种获取元素的方法，包括：
find_element_by_xpath
find_element_by_id
find_element_by_class_name。
什么也没有给出预期的结果。你能告诉我该怎么做吗？
浏览 0提问于2019-07-18得票数 0
回答已采纳
4回答
我们正在设计一个大规模的web抓取/解析项目。基本上，脚本需要遍历网页列表，提取特定标记的内容，并将其存储在数据库中。如果要进行大规模(数千万页？)的操作，您建议使用哪种语言？。
我们使用MongoDB作为数据库，因此任何具有可靠MongoDB驱动程序的都是一个加号。
到目前为止，我们一直在使用PHP、curl和，但我不认为它们可以扩展到数百万个页面，特别是在PHP没有适当的多线程的情况下。
我们需要一些易于开发的东西，可以在Linux服务器上运行，具有强大的HTML/DOM解析器来轻松提取标签，并且可以在合理的时间内轻松下载数百万个网页。我们并不是真的在寻找网络爬虫，因为我们不需要跟踪链接和
浏览 1提问于2010-06-30得票数 8
4回答
我有一个提交表单与方法POST，我想写一个脚本，可以自动提交这个表单，原因我需要这是为了测试的目的。我需要在很短的时间内获得大量数据，以便测试基于这些表单域的搜索，但我没有时间手动执行此操作。这个是可能的吗？
浏览 2提问于2009-10-29得票数 1
回答已采纳
1回答
我正试图向这样的原型中添加一个函数
function Dog(name, breed) {
this.name = name;
this.breed = breed;
}
function barkWithMe() {
console.log("woof woof i am " + this.name);
}
Dog.prototype.bark = barkWithMe();
var snoopy = new Dog();
snoopy.bark();
但它显示了一个错误
Uncaught TypeError: snoopy.bark is not
浏览 4提问于2015-10-24得票数 1
回答已采纳
嗨，我已经成功地通过使用Python和正则表达式抓取了一些购物网站的所有页面。但现在我遇到了麻烦，要抓取某个特定网站的所有页面，该网站的下一页后续链接不存在于当前页面中，就像这里的
本网站通过Ajax调用动态加载同一页面中的下一页数据。所以在抓取的时候，我只能抓取第一页的数据。但我需要抓取该网站所有页面中的所有项目。
我没有办法获得这些类型的网站的所有网页的源代码，其中下一页的后续链接在当前页面不可用。请帮我解决这个问题。
浏览 0提问于2013-05-28得票数 0
1回答
我对node.js和Javascript有点陌生，所以如果这个问题措辞不当，请原谅我。
我正在使用cheeriojs从一个站点抓取数据。我正在运行js文件，它在命令行中抓取数据，并输出我想要的数据，但我希望能够在网页上访问这些数据，在那里我可以将其放入表中。(或者我想要的任何事情)。我到底该怎么做？
谢谢
浏览 1提问于2016-07-29得票数 1
回答已采纳
1回答
我有两个数据框架，df.1和df.2，我想根据关于df.1的某些事情是否属实从df.2中删除行。具体来说，我想从df.2中删除与df.2中的date对应的feistiness的df.1值具有NA值的所有行。怎样才能做到这一点？(我已经看过其他问题了，但仍然找不出答案。)
第一数据帧的可再现代码：
# create first data frame
dates <- rep(as.Date(5001:5010, origin = "1970-01-01"), times = 4)
dogs <- c(rep("Fido", times = 10), r
浏览 2提问于2017-07-31得票数 0
回答已采纳
我正在与discord.js和我的机器人一起工作，每当有人发送信息时，我都试图让它用随机的表情做出反应。这就是我到目前为止对一些行进行评论的原因，因为我不知道该如何处理它们。(我正在使用定制的表情符号)
顶部：
var emojisnop = [":vibing:698328721383227392",":snoopy5:724412122703855747",":snoopy4:724411949281968131",":snoopy3:724411826430804018",":snoopy2:724411667106
浏览 6提问于2020-06-22得票数 0
回答已采纳
在从文本中学习本体的情况下，假设我有两个概念，并且我对它们之间的关系感兴趣：
class <- c(animal.class, dog.class)
individual <- "Snoopy"
animal.class <- c("animal", "animals")
dog.class <- c("dog", "dogs")
sentence1 <- "Snoopy is an animal."
sentence2 <- "Snoopy is a
浏览 1提问于2015-04-06得票数 0
我知道我可以用以下命令搜索字符串：
grep -n -d recurse 'snoopy' *
然后它会显示包含该字符串的每个文件名和实例，如下所示：
file/name.txt:23 some snoopy here
file/name2.txt:59 another snoopy there
file/name2.txt:343 some more snoopy
etc...
问题是，在很多情况下，这个列表是很大的。如何让它只显示包含该字符串的实际文件名，而不显示重复项和匹配项？
只像这样：
file/name1.txt
file/name52.txt
file
浏览 0提问于2014-11-05得票数 7
回答已采纳
2回答
我正在抓取一些网页的一些特定部分的网页。我使用php，curl和xpath来获取页面的一部分。但是人们建议我应该使用XHTML文档的namespaces才能使XPATHs工作。据我所知，namespaces是用来避免各种元素名称之间的冲突的，那么在这种情况下我为什么需要namespaces呢？实际上，我正在使用Tidy将网页转换为XHTML。我真的需要名称空间吗?如果需要，在哪种情况下需要，因为在从wikipedia中抓取内容时，相同的代码without namespaces工作得很好。此外，即使在修改我的php代码以包含namespaces之后，该代码也不适用于某些urls。你可以看看这个。
浏览 0提问于2011-05-31得票数 0
回答已采纳
我正在尝试使用Python抓取一个urls列表的网页。我可以使用Python和漂亮的汤来抓取第一个页面，但是如果url列表很长，它会使用下面的JavaScript继续到第二个页面。
href="javascript:__doPostBack('WQResultGridView'，‘第$2页’)
我不知道怎么才能看到第二页。
浏览 0提问于2013-12-05得票数 0
我通过php cURL抓取/提取了一个远程网页。为此，我必须查看php脚本的页面源代码。问题是在远程页面中，一些文本在<pre></pre>标记内。因此，我可以看到换行或其他html实体代码，我想要抓取该网页的一部分。
例如，如果您看到的页面源代码，就可以看到TODAY'S SHARE MARKET下的数据显示在<pre></pre>标记下。因为<pre>保留了换行符，所以我不能假设每行数据之后是什么。
如何使用换行符/newline/查看页面源代码
等html实体代码？
浏览 3提问于2017-03-19得票数 0
我想同时抓取10个网页。
我在用curl_multi。
然而，我最终在大多数获取的网页上出现了大量503 (太多请求)错误。我怎么才能解决这个问题？
下面是我运行的php脚本。
您可以在任何php启用的服务器上运行它。
这是我的机器上的输出结果。
浏览 3提问于2014-09-28得票数 0
回答已采纳
我想知道像Facebook这样的网站是如何做到这一点的，我假设Pinterest (我还没有用过它)也能做到这一点，扫描和解析图片和视频的链接，然后获取这些富媒体文件来显示在你的墙上。我想在我自己的PHP应用程序中实现这一点。现在我猜这是通过JavaScript/ajax和PHP的组合完成的？我还想知道是否可以使用Snoopy PHP类来回答问题。
浏览 0提问于2012-03-04得票数 0
回答已采纳
1回答
我是新来的网络抓取，并需要快速学习工作。我在抓取客户网页时遇到了麻烦，因为我需要获取的内容对主页上的每个记录都是唯一嵌套的(300+时间)，子页面上的一些字段不在标签中，还有一点混乱。获取以下信息的最佳逻辑是什么？(另外，如果有人知道任何更新的、免费的、值得研究的抓取工具，那就太棒了。我能够获取父页面上的所有记录。我只是不知道如何跳过每条记录来访问它的子页面信息，并在移动到父页面的下一行之前抓取它。
浏览 0提问于2011-12-12得票数 0
回答已采纳
4回答
我有一个关于在PHP中抓取网页的小问题。我不得不在一个大的eshop上抓取大约90000个产品。我在PHP中尝试过，但一个产品需要2-3秒，这很糟糕。有什么建议吗，怎么做得更快？也许是C++多线程版本？但是HTTP请求的时间呢？我的意思是，它到底有没有PHP的限制？谢谢你的建议。
浏览 0提问于2012-07-08得票数 2
4回答
Petri网编辑器
、、、、
1-谁能介绍一些现代Petri网编辑器和比较主题？
目前我使用的是WoPeD。
2--有没有支持Petrinet的UML工具？
浏览 6提问于2011-10-28得票数 3
回答已采纳
1回答
我正试图模拟一顶带有约束条件的排序帽子，以供我们每年的秘密圣诞老人使用。
该项目应随机分配与去年的任务不重叠的赠与者。
我试着把所有东西都放在一个while循环中。然而，我不认为这些限制是有效的。
以下是我到目前为止所拥有的：
# set up data
rm(list = ls())
names <- c('sally', 'linus', 'lucy', 'snoopy', 'peppermint', 'pigpen')
# hard code the past
past <- c(
浏览 1提问于2015-11-28得票数 2
回答已采纳
3回答
在我的OOP程序中建模对象的最好方法是什么？我理解这些类表示的不是特定的对象，而是对象的“组”/“泛化”。但是，我需要建模在我的领域中很重要的单个对象--例如下面的Garfield和Sno皮，它们根本不是对象的类，而是用类表示的对象？
这是正确的方式来建模个别的对象，还是我遗漏了什么？
#include <iostream>
class Animal {
public:
Animal(const char * name) : name(name) {};
private:
const char * name;
};
class Dog : public Anim
浏览 0提问于2021-01-21得票数 9
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
