我注意到，来自蜘蛛和爬虫的访问产生了对该API的数千次调用，而我正在为这些调用收费。有没有办法阻止显示由API生成的内容的网页部分，即只有实际的访问者才能看到它，并且在抓取网页时不会生成API调用？
浏览 1提问于2016-10-23得票数 2
4回答
我正在寻找一个客户端重定向到另一个领域的PHP。window.location.href = "http://yourURL.com";
然而，爬虫很难找到PHP<
浏览 0提问于2015-07-29得票数 0
我需要使用PHP从网站中获取数据，并将其保存在MySQL数据库中。我还想获取图像并将它们保存在我的服务器中，以便在我的站点中显示它们。
浏览 5提问于2011-08-17得票数 1
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
我想索引爬行网站到ElasticSearch，但我不知道，我可以索引爬行信息到ElasticSearch与php爬虫。我知道Apache可以将爬行网站索引到ElasticSearch，但是我对php爬虫一无所知！我可以在php web应用程序中使用Apache吗？
浏览 4提问于2013-05-12得票数 3
JS代码片段公开了一个调用来进行跟踪的PHP文件(例如，请参见here )。此PHP文件与用于登录的文件和其他文件位于同一文件夹中，即这会向恶意爬虫程序暴露太多信息。因此，我想通过一个不存在的或误导性的路径代理PHP文件的URL。例如。不安全： _paq.push(['setTrackerUrl', u+'https://www.mytracker.com/exposed_installation/matomo.php
浏览 48提问于2019-09-22得票数 0
我在找的电子邮件地址我编写了一个PHP爬虫来获取
但是，我需要将“电子邮件通用公司电子邮件”与我的鼠标悬停，以显示电子邮件地址。我想通过我的爬虫自动完成它。我们可以在代码中看到js函数。
浏览 4提问于2015-11-10得票数 1
回答已采纳
1回答
在cronjob上优化爬虫脚本
、、、、
我在一个MySQL表中有大约6600万个域，我需要在所有域上运行爬虫，并在爬虫完成时更新行计数=1。
创建一个php脚本，该脚本以json形式返回域，并从js文件中加载它，并预先处理域并运行爬虫，但是它工作得不太好接下来，我尝试创建一个python脚本，
浏览 2提问于2015-03-01得票数 1
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
php?><script type="text/javascript"> if(isset($_SESSION['user']) else
return false
浏览 20提问于2016-09-02得票数 0
回答已采纳
1回答
是否有可能阻止web爬虫在我的服务器上下载文件(如zip文件)？有可能阻止网络爬虫吗？或者，在下载最多3个文件后，是否还有其他选项可以将文件隐藏在web爬虫上？我可以很容易地创建一个PHP脚本，使用cookie强制访问者登录/注册，但是web爬虫呢？
顺便说一下，我用的是nginx和drupa
浏览 0提问于2013-07-27得票数 1
1回答
我正在使用这个php脚本。基本上，它使用命令shell_exec来运行javascript爬虫。当它工作时，它会返回一个字符串。但是，有时js爬虫会变得没有响应，shell_exec就会挂起。catch (Exception $e) {}
我不确定在PHP
浏览 0提问于2015-06-12得票数 0
使用apache和php 5.2.17运行Centos。我有一个网站，列出了许多不同零售商网站的产品。我有爬虫脚本，运行从每个网站抓取产品。由于每个网站是不同的，每个爬虫脚本必须定制，以抓取特定的零售商网站。所以基本上每个零售商我有一个爬虫。在这个时候，我有21个爬虫不断运行，以收集和更新这些网站的产品。每个爬虫都是一个php文件，一旦完成了php脚本，它就会检查，以确保它是唯一运行的实例，并且在脚本的最末端，它使用exec再次启动自己，而原始实例关闭
浏览 7提问于2013-12-18得票数 13
回答已采纳
1回答
向机器人隐藏代码
、、、、
有没有一种方法只对爬虫隐藏页面的特定部分？那么，有没有办法对机器人隐藏某些部件，但在未来不会对用户隐瞒？不是整页，只是部分。但没有理由不让智能js阅读爬虫来隐藏它。麦芽酒
浏览 6提问于2014-10-16得票数 0
回答已采纳
我正在阅读angular的服务器端渲染文档，因为它们提到服务器端渲染是帮助爬虫。我知道在服务器端渲染爬虫可以获得整个dom，但爬虫也可以与组件交互，那么它如何帮助爬虫呢？
浏览 18提问于2019-09-15得票数 0
3回答
重定向爬行器
、、
我想添加一个脚本来检查代理信息，如果它匹配其中一个爬虫的一部分，我想轻轻地将其重定向到另一个页面。在页面级别重定向，而不是在.htaccess文件中重定向的最好方法是什么？
浏览 1提问于2011-06-25得票数 0
phpif(mysqli_num_rows($get_locationphp echo $choose; ?></option>
ErrorDocument 404 /not-found.phpRewriteCond %{-
浏览 0提问于2016-10-20得票数 0
回答已采纳
1回答
角2推特播放器卡
、、
我正在尝试实现twitter卡的角2项目。和示例代码此源与我通过meta标记name=发送的“twitter:player:stream”不兼容。 <meta content='text/html; charset=UTF-8' http-equiv='Content-Type' />
<meta name="twitter:card" content=&#
浏览 2提问于2017-01-24得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
