1回答
我需要一个脚本来统计网页上出现的单词。
我正在做的是计算随机it(避免多次检查相同的IPs )，使用nmap查看端口80是否打开，以了解它是否是web服务器，然后使用w3m将http页面作为文件。
浏览 0提问于2012-08-03得票数 0
这些统计数据可由蜘蛛stats对象(crawler.stats.get_stats())访问，例如： [..]如果我在剪贴上运行蜘蛛，日志统计数据就不存在了。还有很多其他的稀释法(例如异常计数，等等)但日志计数不见了。有人知道如何将它们送到那里吗?或者如何在刮取中心上访问它们？在蜘蛛关闭后，我还检查了“倾倒刮伤统计数据”的值。如果我在我的机器上运行它，日志计数就在那里，如果我在scrapinghub上运行它，日志计数就
浏览 7提问于2014-12-02得票数 0
回答已采纳
我试图写一个简单的刮擦扩展类发送爬虫统计，当蜘蛛关闭通过电子邮件。到目前为止，这就是我所拥有的，效果很好。但是现在我想弄清楚如何用刮过的域将列表添加到统计数据中。我查看了这些文档，但不知道代码应该是什么样子，应该放在哪里、在扩展中还是在蜘蛛类中。如何访问扩展类中被刮过的域，或者如何访问蜘蛛类中的统计数据？雅克
浏览 1提问于2013-09-04得票数 0
回答已采纳
我正在使用Scrapy与几个蜘蛛，并需要自定义的json输出，其中将包括一些蜘蛛统计(成功的请求列表，错误列表等)。我已经制作了自定义项目管道，但我不知道如何从那里访问统计数据。
浏览 1提问于2015-04-28得票数 1
1回答
蜘蛛应该：蜘蛛的目的是保持一个新的网站忙碌，模拟许多用户正在浏览它。
我看了LWP和WWW：：机械化。
浏览 4提问于2011-06-08得票数 1
回答已采纳
3回答
显然，我是php的新手..我已经为一个网页创建了一个简单的页面计数器来监控浏览量。我已经设置了一个包含三列(id、page、views)的mySQL数据库。php
$sql="SELECT * FROM view_log WHERE page
浏览 1提问于2012-12-11得票数 0
我用刮痕写了一个工作的爬虫，
在蜘蛛完成后再检索一些数据。起初，我认为是为此而设计的，但在阅读了文档之后，它似乎更像是一个守护进程，能够管理“打包蜘蛛”，也就是“刮擦蛋”；所有设置(start_urls、allowed_domains、settin
浏览 3提问于2012-10-21得票数 25
4回答
如何监测抓取蜘蛛的健康状况
、、、、
对于上下文，我不能使所有其他字段都是必需的，因为它们本质上是可选的(如colour、size等)
可能计算每个爬行填充字段的平均频率。
浏览 0提问于2019-08-12得票数 0
1回答
最近，当我通过AWStats查看我的网络统计数据时，我发现了一些令我担忧的事情。第一个是“未知机器人”，列在“机器人/蜘蛛访客”标签下。第二行，也是最受关注的一行是同一个AWStats robots选项卡下的“A PHP script”。我在我的网站上运行不应该被其他网站的PHP脚本获取的内容。有没有办法将此记录到Apache日志中？换句话说，我如何判断脚本是否正在被PHP脚本调用(通过日志或PHP函数)？最后，下面列出了一个图像，它显示了我正在描述的内容。
浏览 3提问于2015-01-17得票数 2
统计数据Mysql：http://i.imgur.com/vg6fj.png
谷歌分析：http://i.imgur.com/yl8Ui.png
浏览 0提问于2012-08-03得票数 2
回答已采纳
我怎么知道是谷歌蜘蛛还是其他蜘蛛访问了我的页面？header('Location: index.php');}
?
浏览 3提问于2010-11-13得票数 2
回答已采纳
运行代码时，会显示这样的统计数据。datetime.datetime(2016, 11, 18, 14, 41, 37, 807590)}
我的目标是访问response_count或request_count中的process_response或任何方法的蜘蛛我想关闭蜘蛛，一旦N个总网址被我的蜘蛛刮走。
浏览 3提问于2016-11-18得票数 1
1回答
start_urls = ['http://www.example.com']
# Extract links matching 'category.php' (but not matching 'subsection.php')
# and follow links from them (since no callback means followRule(LinkExtractor(allow=('cat
浏览 2提问于2017-10-21得票数 8
1回答
我有一个刮擦的脚本，它将运行多个蜘蛛。我想从PHP/HTML代码中爬行单个蜘蛛或运行多个蜘蛛脚本。这有可能吗？如果是这样的话，是怎么做的？
浏览 2提问于2015-11-22得票数 0
回答已采纳
我正在写一个蜘蛛脚本，我需要蜘蛛来获得由javascript生成的内容，我听说htmlunit将执行javascript.My脚本是php，我如何获得与htmlunit的工作？有没有与php等同的？
浏览 1提问于2011-10-23得票数 1
回答已采纳
1回答
我的项目中有多个蜘蛛，我同时运行它们。当每个爬虫在错误或COMPLETION上完成时，我希望收到一封带有STATS或ERROR的电子邮件。
浏览 2提问于2012-09-05得票数 0
回答已采纳
我正在用PHP编写一个蜘蛛应用程序，它从一个域编译一个唯一URL列表，处理每个惟一URL上的HTML数据，然后生成关于这些页面的统计数据。举个例子，下面是我的蜘蛛收集的两个URL，它们在技术上是唯一的(“replytocom”的不同参数值)，但也直接指向同一个页面：
我的问题是:是否有一种方法可以判断具有不同参数值的两个链接是否引用同一个页面？
浏览 1提问于2013-08-05得票数 0
回答已采纳
2回答
我需要收集每隔几秒钟检索一次网页所需时间的统计数据。我可以做一个(蜘蛛不会下载网页，只需检查它们是否在那里)我面临的问题是，我需要跟踪统计数据。
浏览 0提问于2011-05-25得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
