我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
我想索引爬行网站到ElasticSearch，但我不知道，我可以索引爬行信息到ElasticSearch与php爬虫。我知道Apache可以将爬行网站索引到ElasticSearch，但是我对php爬虫一无所知！
有没有任何php爬虫，它的性能良好，可以索引爬行网站到ElasticSearch？
帮助我为我的项目选择php爬虫，我可以将它与ElasticSearch集成。
我可以在php web应用程序中使用Apache吗？
浏览 4提问于2013-05-12得票数 3
我使用scrapy和scrapyd来抓取一些内容。我有28个爬虫在运行，但一次只有8个。每个crawler需要10分钟到几个小时才能完成。因此，我正在寻找一种方法来正确地对它们进行排序，以便最大限度地减少服务器活动的时间。
我已经收集了每次爬行需要多长时间的信息，所以这只是最小化问题，或者如何制定它。
该脚本是使用php启动的，因此解决方案最好在php中运行。
浏览 36提问于2016-09-24得票数 0
我使用PythonSchedul进度表每30分钟运行一次爬虫，我希望我的爬虫每隔30分钟运行一次，这个间隔是根据系统的时间计算的(例如mac、windows、linux)。
下面是我的代码，每次执行它都会被延迟一分钟。
schedule.every(30).minutes.do(crawl)
while True:
schedule.run_pending()
time.sleep(1)
浏览 5提问于2022-06-08得票数 0
1回答
是否有可能阻止web爬虫在我的服务器上下载文件(如zip文件)？
我应该创建一个PHP脚本，使用cookie跟踪访问者，特别是在下载3个文件后登录/注册的web爬虫。但我发现网络爬虫可以绕过cookie。
有可能阻止网络爬虫吗？或者，在下载最多3个文件后，是否还有其他选项可以将文件隐藏在web爬虫上？
我可以很容易地创建一个PHP脚本，使用cookie强制访问者登录/注册，但是web爬虫呢？
顺便说一下，我用的是nginx和drupal CMS。如果这能帮上忙的话就给我这个信息。
浏览 0提问于2013-07-27得票数 1
这是关于我的设置的背景信息。使用apache和php 5.2.17运行Centos。我有一个网站，列出了许多不同零售商网站的产品。我有爬虫脚本，运行从每个网站抓取产品。由于每个网站是不同的，每个爬虫脚本必须定制，以抓取特定的零售商网站。所以基本上每个零售商我有一个爬虫。在这个时候，我有21个爬虫不断运行，以收集和更新这些网站的产品。每个爬虫都是一个php文件，一旦完成了php脚本，它就会检查，以确保它是唯一运行的实例，并且在脚本的最末端，它使用exec再次启动自己，而原始实例关闭。这有助于防止内存泄漏，因为每个爬行器在关闭之前重新启动。不过，最近我将检查爬虫脚本，并注意到其中一个脚本不再运行，
浏览 7提问于2013-12-18得票数 13
回答已采纳
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？我在考虑标准输入/输出，但找不到一种方法可以做到这一点(从一个进程写入另一个进程stdin)。然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数据已经写入文件，以及让php脚本知道爬虫何
浏览 1提问于2011-03-31得票数 1
1回答
如何使用php获取HTML页面的标题？我已经做了一个php网络爬虫，我想在我的爬虫中实现这一功能，这样它就会有页面的名称和url。提前谢谢。可能使用preg_match。
浏览 0提问于2011-02-07得票数 3
回答已采纳
3回答
网络爬虫反馈？
、、、
嘿，伙计们，偶尔我需要自动从网站收集数据。有时我需要一个目录中的一堆URL，有时我需要一个XML站点地图(是的，我知道有很多软件用于这个和在线服务)。
无论如何，作为对我上一个问题的跟进，我写了一个小的网络爬虫，可以访问网站。
基本的爬虫类，方便和快速地与一个网站交互。
重写"doAction(String，String )“以进一步处理内容(例如存储、解析内容)。
概念允许爬虫的多线程.所有类实例共享已处理和排队的链接列表。
可以建立JDBC连接，以将链接存储在数据库中，而不是跟踪对象中已处理的链接和排队链接。
但是，目前一次只限于一个网站，可以通过添加一
浏览 12提问于2010-05-29得票数 2
回答已采纳
我有一个Windows客户端应用程序，它使用托管在共享商业php服务器中的php页面。
在这个php页面中，我将返回一个加密的json。同样在这个页面中，我有一段代码来跟踪哪个in正在访问这个php页面，并且我注意到有一个spyder/Nutch-2爬虫正在访问这个页面。
我在想，一个爬虫怎么可能找到一个没有在任何搜索引擎中发布的页面。我有办法阻止爬虫访问这个特定的页面吗？
我应该使用.htaccess文件来配置它吗？
浏览 7提问于2014-04-15得票数 1
在我的网站根目录中，我有一个index.php，当然还有其他的页面。问题是，当我用爬虫或站点地图爬虫等爬行我的网站时，它会报告两个重复的链接。
www.domain.com/
www.domain.com/index.php
如何强制告诉我的爬虫没有相同页面的两个实例？我是否使用301合并它们？一个规范？.htaccess重定向？等等，我该怎么解决这个问题？
浏览 0提问于2014-09-12得票数 0
回答已采纳
2回答
管理大型日志文件
、、
我们有一个持续爬行我们的目标网站的爬虫，它的日志文件变得相当大。超过1 GB在某些情况下，我不太习惯删除或覆盖它们。有关于如何管理大型日志文件的示例吗？
浏览 2提问于2010-06-28得票数 4
回答已采纳
1回答
我刚写完一个爬虫，一直在想为什么爬行某个网站会很糟糕。我知道现代浏览器的风险主要是由javascript造成的。因此，我的问题是，web爬虫(用PHP或Java编写)是否能够刮起可能会对爬虫造成损害的站点？
浏览 3提问于2014-11-08得票数 1
1回答
我们有一个PHP爬虫运行在我们的web服务器上。crawler运行时，没有cpu、内存或网络带宽峰值。一切都很正常。但是我们的网站(也是PHP)，托管在同一台服务器上，停止响应。基本上，爬虫会阻止任何其他php脚本运行。
编辑：
** fsockopen用于将文件下载到crawler！**
浏览 3提问于2010-05-11得票数 0
我有一个模板网页，有一个固定的页眉/页脚。根据要显示的主体内容，我需要更改头部中元标记的内容。
在谷歌搜索之后，我了解到google爬虫不会运行任何javascript代码，也不会在页面中读取php变量。如果是的话，google爬虫会不会忽略If语句来检测到下面的元标记？
<?php if(about page) ?>
<meta ...>
<meta ...>
<meta ...>
<?php } else if(contact page) { ?>
<meta ...>
<
浏览 0提问于2014-04-27得票数 0
回答已采纳
1回答
我正在寻找一个解决方案，以切换IP时自动运行PHP爬虫。我有一个自定义的爬虫，它运行100个线程，但由于油门限制，我经常被阻塞。因为PHP不支持多线程，所以我设置了windows调度程序来并行运行PHP应用程序。
我想为每个线程分配一个不同的IP地址，并欢迎任何建议来克服这个问题。
浏览 1提问于2014-04-14得票数 0
2回答
我有使用ajax加载帖子的新闻门户，以获得更好的用户体验。Web爬虫看不到javascript生成的链接和文本，所以我读到了关于为爬虫使用noscript标记的文章。在noscript部分中，我以正确的方式(在我的php代码中)使用标题标记来呈现标题、字幕、描述和链接到post。许多SEO分析器网站现在看到了这些内容，但我不知道真正的爬虫像谷歌和其他。他的这是一个很好的方式，使我的内容可见的爬虫？我知道这很容易..。
浏览 0提问于2015-04-22得票数 3
我在JMeter中有一个爬虫测试(爬虫)的问题，我在java中也有本机代码，它不能工作，因为我需要在POST中发送一个名为javax.faces.ViewState的参数
我只需要绕过这个参数，然后我将我的代码留在Java中，根据您的意见，爬虫(爬虫)会更可行。
在此处输入图像描述
public static void main(String[] args) {
try {
Connection.Response loginForm = Jsoup.connect("http://appware-sst.com/elegancia-ejecutiva"
浏览 2提问于2017-04-06得票数 0
我有一个阿贾克斯网络应用程序，我需要谷歌索引。所以我使用了hashbang，并且我需要将?_escaped_fragment_=传递给一个单独的爬虫PHP。
目前
DirectoryIndex index.php
RewriteEngine on
RewriteCond %{QUERY_STRING} ^_escaped_fragment_=(.*)$
RewriteRule ^$ crawler.php?cat=%1 [QSA,L]
重定向到像这样的url /crawler.php/m/GkQs6Mw4W8。如何将爬虫重定向到这样的URL，
crawler.php?cat=m&
浏览 0提问于2014-11-10得票数 0
我需要编写一个网络爬虫，并希望能够爬行使用一个已知的用户代理。例如，我希望我的爬虫程序充当iphone来抓取网站的移动站点，然后使用Mozilla PC代理再次抓取，等等。
这样，我将能够抓取每一个“类型”的网站(移动和个人电脑)。然而，我也希望能够设置我的爬虫的用户代理，这样网站管理员也可以在他们的统计数据中看到访问整个网站的是一个爬虫，而不是真正的用户。
所以我的问题是，你们知道如何在PHP中同时设置一个移动代理和一个爬虫代理吗？这有可能吗？
浏览 1提问于2011-05-14得票数 3
回答已采纳
4回答
我正在寻找一个客户端重定向到另一个领域的PHP。
我不想做301 - 302 - 307等重定向的原因是因为我希望页面向爬虫程序发送一个200HTTP OK响应。
我通常使用混淆的JavaScript在静态use主机(如S3 )上执行此操作，但是，我意识到爬虫程序可能会拾取JS，因为它是客户端。
我使用的未被阻塞的JS代码示例；
window.location.href = "http://yourURL.com";
然而，爬虫很难找到PHP，所以我想做一个类似的重定向，但用的是PHP。
如果有人能分享他或她的意见，这将是最好的方式。
提前感谢！
浏览 0提问于2015-07-29得票数 0
1回答
我有一个python爬虫，它获取信息并将其放入SQL中。现在我也有了php页面，它从SQL读取这个信息，并表示它。问题是:为了让爬虫程序工作，我的电脑必须全天候工作。我有一台简单的家用电脑--所以这是个问题。是否有一种不同的方式运行网络爬虫？还是我必须在我的电脑上运行？
浏览 1提问于2015-12-08得票数 0
回答已采纳
6回答
Tor网络爬虫
、、、、
好的，这就是我需要的。我有一个基于PHP的网络爬虫。它可以在这里访问：现在，我的问题是我的爬虫需要在SOCKS端口9050上抓取页面。问题是，我必须通过Tor隧道它的连接，这样它才能解析.onion域，这就是我要索引的。(仅以.onion结尾。)我使用php crawl.php从命令行调用此脚本，并添加适当的参数来抓取页面。我的想法是:有没有办法强迫它使用Tor？或者我可以强制我的整个机器通过Tor进行隧道操作，以及如何实现？(比如强制所有流量通过127.0.0.1:9050)也许如果我设置了全局代理设置，php会尊重它们吗？
如果我的任何解决方案都有效，我该怎么做呢？(请按步骤说明，我是菜鸟
浏览 7提问于2012-02-11得票数 10
1回答
我的程序是一个网络爬虫，它被卡在一个URL上，显然对应于一个随机的中国网站。由于某些原因，它不会抛出异常，连接也不会超时。我本以为这些代码行可以防止这种情况发生。
static URLConnection in;
in = curURL.openConnection();
in.setConnectTimeout(2000);
pageSource = new StreamedSource(in);
我几乎可以肯定这就是问题所在，对堆转储的任何内存泄漏检查都没有结果。
浏览 0提问于2013-07-09得票数 1
回答已采纳
1回答
我正在构建一个网络爬虫，我想将链接保存在数据库中，包括类型、大小等信息。
实际上，我不知道什么时候应该提交数据库(多久一次)
换句话说:如果我每0.1秒提交一次数据库，会不会有问题？
浏览 0提问于2015-02-08得票数 0
回答已采纳
1回答
我尝试了两种不同的网络爬虫(Sistrix和)。这两个爬虫都会报告有关/和/?katID=12等URL的重复内容的错误。
事实证明，如果爬虫调用url /projekte/index.php?katID=12，它会找到<a href="/">Home</a>并将其作为链接添加到/?katID=12。看起来url ?katID=12中的参数被添加到页面上没有参数的每个链接中。
如果我使用浏览器或wget，我会看到想要的到/的简单html链接。
我做错什么了吗？服务器配置？
这是爬虫中的bug还是一个特性？
浏览 5提问于2013-04-02得票数 2
回答已采纳
我想用php做一个简单的爬虫，它可以让我获取网页中的链接，回显它们的url，然后爬行到其他页面，在某个特定的域名下做同样的事情。这里有必要使用cURL吗？Also..how会指定爬虫的深度。
到目前为止，我有这样的想法：
$dom = new DOMDocument;
$dom->loadHTML($html);
foreach( $dom->getElementsByTagName('a') as $node ) {
echo $dom->saveXml($node), PHP_EOL;
}
浏览 1提问于2011-07-06得票数 0
回答已采纳
如果我想只允许爬虫访问index.php，这行得通吗？
User-agent: *
Disallow: /
Allow: /index.php
浏览 0提问于2009-10-28得票数 10
3回答
如何使用PHP检测爬虫/蜘蛛？
我目前正在做一个项目，我需要跟踪每个爬虫的访问。
我知道您应该使用HTTP_USER_AGENT，但是我不太确定如何为此目的格式化代码，而且我知道用户代理可以很容易地更改，所以我也想知道是否可以添加更多的参数以避免欺骗？
我想要做的事情的样本代码。
<?php
$user_agent = $_SERVER['HTTP_USER_AGENT'];
if (strpos( $user_agent, 'Google') !== false)
{
echo "Googlebot is here";
}
?>
谢
浏览 3提问于2013-11-14得票数 8
回答已采纳
我有一个PHP刮板脚本，我用它来刮我的网站上的一个页面。然后，该脚本将内容解析为HTML并将其输出给用户。我遇到过在PHP中使用useragent函数来假装你是一个爬虫，例如GoogleBot。我如何将我的两个脚本组合在一起，这样我抓取的页面就会认为我是一个爬虫？
我的抓取器PHP代码是：
$query=$_REQUEST['q'];
$html = file_get_contents("search.php?q=$query");
preg_match_all(
'/<div class="cl1 cld">.*?
浏览 0提问于2011-06-19得票数 3
回答已采纳
我想使用TYPO3 9.5.13向站点添加搜索功能。到目前为止，没有问题，只需执行composer require "typo3/cms-indexed-search" ^9，因为indexed_search支持9.5。
然后，文档告诉我安装爬虫扩展(据说是"aoepeople/ crawler "："^6.7")。
问题是爬虫文档声明它支持最多8.7.99的TYPO3。
没有风险-没有乐趣，所以试着安装爬虫，即使它不明确支持TYPO3 9.5。
在页面上选择"info“时，它告诉我：
Fatal error: Class 'TY
浏览 2提问于2020-01-04得票数 0
回答已采纳
我不太擅长php，但我试图学习爬虫的功能。我试着把我学到的关于爬虫的东西应用到这个网站中
在我继续使用example2之前，一切都很好。我犯了这个错误
解析错误:第7行上example2.php中的语法错误，意外Parse> '>‘
从这个代码
<?php
include_once('simple_html_dom.php');
$target_url = “localhost/wordpress”;
$html = new simple_html_dom();
$html->load_file($target_url);
foreach($ht
浏览 0提问于2013-05-03得票数 0
我希望将一些网站的内容复制到本地数据库中，以便进一步进行个性化搜索。我知道我必须使用爬虫，我找到了一些关于scrapy的很好的参考资料。
我的问题是，你知道有没有用PHP写的好的爬虫。
浏览 0提问于2013-04-16得票数 0
回答已采纳
5回答
URL中的^符号是什么意思？
我需要从网页中抓取一些链接数据，我使用了一个简单的手写PHP爬虫。爬虫通常工作得很好；然后我找到了一个URL，如下所示：
http://www.example.com/example.asp?x7=3^^^^^select%20col1,col2%20from%20table%20where%20recordid%3E=20^^^^^
此URL在浏览器中键入时工作正常，但我的爬虫程序无法检索此页面。我收到一个"HTTP请求失败的错误“。
浏览 1提问于2010-02-25得票数 5
回答已采纳
我想知道，当排名页面不是主页时，是否有一种方法可以将来自Google搜索的用户重定向到我的主页，而不影响该页面的良好排名。
我需要的是一个php条件，以了解网页是否来自来自Google搜索的用户，而不是Google爬虫。我需要谷歌爬虫继续索引该网页，同时，用户要重定向到主页。这是我的意思的伪代码片段：
if ($_SERVER['HTTP_REFERER'] == 'only users from a Google search')
header('location','index.php');
浏览 2提问于2016-02-29得票数 1
回答已采纳
例如，如果在我的index.php中有如下内容：
<?php
header('Location: /mypublicsite/index.php');
?>
爬虫和/或机器人得到了什么？只有一张白纸？或者它们真的到达/mypublicsite/index.php？
浏览 4提问于2010-08-25得票数 0
回答已采纳
Facebook的爬虫没有得到我的og元数据，因为php首先需要FB身份验证。有没有办法让FB的爬虫以执行自定义操作(分享等)的用户的身份查看网页？或者，作为替代，有没有其他方法可以在仍然使用自定义操作的情况下为FB提供元数据？
浏览 4提问于2012-07-03得票数 1
3回答
我有一个页面，通过AJAX动态加载一节内容。我担心这意味着内容不会被搜索引擎找到。
为了向你展示我的意思，网站在，动态内容在 -通常没有人会访问第二个链接，它只是加载到第一个页面中。
我知道我可以通过使用sitemap.xml告诉爬虫程序读取speakers.php，但然后我会在搜索结果中显示指向speakers.php的链接。
我猜最终的解决方案是，如果有人请求/speakers.php，它会将他们重定向到主页，而让爬虫读取数据。
有什么建议吗？
浏览 3提问于2008-10-22得票数 1
回答已采纳
7回答
我有丰富的PHP经验，尽管我意识到PHP可能不是大型网络爬虫的最佳语言，因为进程不能无限运行。人们推荐的语言是什么？
浏览 1提问于2010-09-08得票数 3
回答已采纳
3回答
不知何故，“黑客爬虫”不断地将有害的iframe元素插入到我的一个文件中：
<iframe src="http://miaspieces.vv.cc/showthread.php?t=70830633" width="0" height="0"></iframe>
这是自动完成的，而不是由一个人完成的，我想。
我已经通过FTP多次更改了我的所有密码以及文件的CHMOD，所以我假设这是在我的站点上做的(PHP 1 1)。
你知道爬虫是怎么做的，我怎么能阻止它？
我知道这个缺陷是因为我使用的是PHP的旧版本，但不幸的是，我做了
浏览 0提问于2011-05-26得票数 2
回答已采纳
2回答
饼干爬虫的主意？
、、、、
我是一个寻找PHP/javascript/等爬虫(bot)谁将检查给定的网站集，(这是重要的部分)检查哪些cookie，网站设置到用户的浏览器！
我甚至不知道是否可以这样做，因为我知道爬虫可以检查网站的内容，甚至当用户访问网站时，爬虫也可以存储cookie，但他真的可以从网站上读取cookie吗？
所以我的问题是:从定义上说，这不是不可能的吗？这样的事能做吗？基本上，检查网站设置到用户浏览器中的cookie，例如，将它们存储在变量中。
浏览 1提问于2014-01-26得票数 1
回答已采纳
1回答
我有一个PHP网站，其中有四到五个其他的PHP文件，我使用jQuery AJAX加载到主index.php上。这对于SEO和网络爬虫来说是不是很好的做法呢？
浏览 2提问于2012-12-07得票数 1
回答已采纳
1回答
我有这个GenerateSitemap.php文件，我可以在其中配置爬虫程序，但我不知道如何让爬虫程序删除一些特定的URL，例如() () ()。我将spatie in laravel用于此解决方案，并尝试下面的解决方案，但它不起作用
public function sitemap()
{
SitemapGenerator::create('https://example.com')
->shouldCrawl(function (UriInterface $url) {
return strpos($url->ge
浏览 2提问于2021-03-19得票数 0
我正在寻找Apache Lucene网络爬虫写在java，如果可能的话，或在任何其他语言。爬虫必须使用lucene并创建有效的lucene索引和文档文件，因此这就是nutch被排除的原因。
有没有人知道这样的网络爬虫是否存在，如果答案是肯定的，我可以找到它。Tnx..。
浏览 0提问于2009-10-16得票数 1
回答已采纳
1回答
Php单击
、、、
<?php
include_once('simple_html_dom.php');
$veri = file_get_html("http://apps.istanbulsaglik.gov.tr/Eczane");
preg_match_all('@<a href="(.*?)" class="ilce-link" data-value="(.*?)"
data-ilcename="(.*?)" data
浏览 1提问于2017-11-06得票数 1
回答已采纳
1回答
所以我建立了一个年龄验证页面，阻止爬虫进入主站点。但是，我添加了一些代码，这些代码应该允许爬虫通过，而不是普通用户(如果没有为他们设置cookie )。然而，它似乎不起作用，facebook的一个只是被重定向，我需要开放的图形信息。我去调试器，并键入网址的网址，它只是显示facebook爬虫被重定向。下面的代码验证根本不起作用，因此，例如，当我将浏览会话更改为googlebot时，它会被重定向。
<?php
if (!in_array($_SERVER['HTTP_USER_AGENT'], array(
'facebookexternalhit/1.0 (
浏览 1提问于2013-08-16得票数 0
回答已采纳
我想使用Matomo (自托管跟踪软件，类似于谷歌分析)。JS代码片段公开了一个调用来进行跟踪的PHP文件(例如，请参见here )。此PHP文件与用于登录的文件和其他文件位于同一文件夹中，即这会向恶意爬虫程序暴露太多信息。因此，我想通过一个不存在的或误导性的路径代理PHP文件的URL。例如。 不安全： _paq.push(['setTrackerUrl', u+'https://www.mytracker.com/exposed_installation/matomo.php']); 应该变得更安全： _paq.push(['setTrackerUr
浏览 48提问于2019-09-22得票数 0
有没有预先编写的PHP爬虫/爬虫可以用来将文档提供给Zend_Search_Lucene索引器？我发现了，但它与MySQL的耦合非常紧密，而且不能很容易地与Zend Lucene集成(据我所知)
我最初编写搜索索引是为了在CMS/Wordpress页面保存上工作，所以不需要爬行，但现在我们也需要集成一个外部站点。
浏览 1提问于2010-06-27得票数 2
我一直在建立一个搜索引擎，但现在我需要一个网页爬虫，在PHP中，可以抓取我的网站的内容。
我不知道网络爬虫/蜘蛛是否是正确的词，但我希望并想知道是否有人能帮助我编写一个简单的PHP脚本，该脚本打开以.php或.html结尾的域中的所有页面，并将内容保存在页面中，并将其存储在变量中作为原始文本。每页一个变量。
如果有人知道一个好的开源脚本，或者可以帮助我编写一个，请分享或这样做-我将非常感谢所有和任何帮助。
浏览 2提问于2013-03-07得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
