我想索引爬行网站到ElasticSearch，但我不知道，我可以索引爬行信息到ElasticSearch与php爬虫。我知道Apache可以将爬行网站索引到ElasticSearch，但是我对php爬虫一无所知！我可以在php web应用程序中使用Apach
浏览 4提问于2013-05-12得票数 3
1回答
是否有可能阻止web爬虫在我的服务器上下载文件(如zip文件)？有可能阻止网络爬虫吗？或者，在下载最多3个文件后，是否还有其他选项可以将文件隐藏在web爬虫上？我可以很容易地创建一个PHP脚本，使用cookie强制访问者登录/注册，但是web爬虫呢？
顺便说一下，我用的是nginx和drupa
浏览 0提问于2013-07-27得票数 1
1回答
我有一个python爬虫，它获取信息并将其放入SQL中。现在我也有了php页面，它从SQL读取这个信息，并表示它。问题是:为了让爬虫程序工作，我的电脑必须全天候工作。是否有一种不同的方式运行网络爬虫？还是我必须在我的电脑上运行？
浏览 1提问于2015-12-08得票数 0
回答已采纳
2回答
我在一个网站上做了4个登陆页面，和一个php脚本随机化了不同的登陆页面。
但我的问题是修复facebook的开放图形。他返回:无法跟随重定向路径-使用来自的数据，因为在重定向路径之后有一个错误。
浏览 4提问于2015-06-03得票数 3
回答已采纳
2回答
有链接到下一页：这个javascript函数将AJAX请求发送到：它设置CourseId Session并重定向到页面：课程将按照存储在会话中的CourseID加载，如何从C# code中在ajax.php
浏览 0提问于2014-06-12得票数 0
回答已采纳
这是关于我的设置的背景信息。使用apache和php 5.2.17运行Centos。我有一个网站，列出了许多不同零售商网站的产品。我有爬虫脚本，运行从每个网站抓取产品。由于每个网站是不同的，每个爬虫脚本必须定制，以抓取特定的零售商网站。所以基本上每个零售商我有一个爬虫。在这个时候，我有21个爬虫不断运行，以收集和更新这些网站的产品。每个爬虫都是一个php文件，一旦完成了php脚本，它就会检查，以确保它是唯一运行的实例，并且在脚本的最末
浏览 7提问于2013-12-18得票数 13
回答已采纳
fjs);}}(document,"script","twitter-wjs");</script>
代码首先不是有效的XHTML脚本，所以我寻找了一个插件或脚本，找到了，因为它可以为CSS定制，但是这个爬虫友好吗
浏览 1提问于2013-01-10得票数 1
2回答
我正在为一个客户创建一个“私人”销售网站。要查看网站内容，用户必须注册并登录。我们仍然希望使用Facebook来分享单个产品。不幸的是，如果我有一个产品的具体细节，当我分享链接时，我得到的只是默认的打开图形标记。提前感谢您的帮助！
浏览 1提问于2011-06-30得票数 1
回答已采纳
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
2回答
嗨，朋友们，如果我被问题激怒了，我很抱歉。我有一个网站，每个页面都有两种语言。我的意思是，默认的语言是瑞典语，如果你按下英语标志，它将改变会话，并将以英语显示，整个网站将以英语运行。你能给我一些建议吗？
浏览 2提问于2011-01-14得票数 2
另一方面，我想为网页爬虫制作刚刚好的HTML内容。
如何知道请求是否来自流行的网络爬虫/机器人，如Google、bing、facebook、twitter？
浏览 4提问于2015-10-06得票数 2
回答已采纳
我知道有引擎在互联网上搜索网站上的电子邮件地址，避免这种情况的一种方法是将联系信息作为图像。用php代码插入联系方式也安全吗？换句话说，在执行php代码后，网络爬虫是按照服务器上的页面(使用php代码)还是在浏览器上显示的所有信息来“看到”页面？
浏览 9提问于2021-09-29得票数 0
回答已采纳
JS代码片段公开了一个调用来进行跟踪的PHP文件(例如，请参见here )。此PHP文件与用于登录的文件和其他文件位于同一文件夹中，即这会向恶意爬虫程序暴露太多信息。因此，我想通过一个不存在的或误导性的路径代理PHP文件的URL。例如。不安全： _paq.push(['setTrackerUrl', u+'https://www.mytracker.com/exposed_installation/matomo.php
浏览 48提问于2019-09-22得票数 0
我发现在index.php中，我可以根据以下内容控制向用户显示哪个应用程序文件夹：{
$application_folder
浏览 1提问于2015-05-06得票数 2
2回答
country == "BD" ") header( 'Location:https://www.exmple.com/directory/bangladesh/index.php$country == "PK" ) header('Location:https://www.exmple.com/directory/pakistan/index.<e
浏览 4提问于2017-05-08得票数 0
2回答
内容和渲染输出会被Google和其他搜索引擎索引吗？<script>html += '<head>';html += '<title>This Is The Stacked Overflown Network</title>';
html
浏览 0提问于2013-07-13得票数 2
1回答
所以我建立了一个年龄验证页面，阻止爬虫进入主站点。但是，我添加了一些代码，这些代码应该允许爬虫通过，而不是普通用户(如果没有为他们设置cookie )。然而，它似乎不起作用，facebook的一个只是被重定向，我需要开放的图形信息。我去调试器，并键入网址的网址，它只是显示facebook爬虫被重定向。php
'facebookexternalhit/1.1 (+http://www.facebook.com/externa
浏览 1提问于2013-08-16得票数 0
回答已采纳
我安装了扩展“站点爬虫”。扩展告诉我需要指定PHP bin的路径。所以我写了这个小脚本来获取路径： echo PHP_BINDIR;
我得到了C:\PHP。但是，如果我在扩展设置中输入此路径，则仍会得到No php binary found in 'C:\php'.
浏览 0提问于2016-07-19得票数 1
2回答
我习惯于创建一些爬虫来编译信息，当我来到一个网站，我需要的信息我开始一个新的爬虫专门为该网站，使用外壳脚本大部分时间，有时PHP。我这样做的方式是用一个简单的for来迭代页面列表，一个wget下载它，sed，tr，awk或其他实用程序来清理页面，并获取我需要的特定信息。
浏览 3提问于2009-02-07得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
