1回答
我最近收到了很多电子邮件，报告我的网站上的问题，当我回头看的时候，已经被报道为布鲁特部队的攻击。在对他们的位置进行进一步检查后。有一个好的方法来区分明显的暴力攻击和爬虫检查网站吗？
更新:所有电子邮件都是从生产网站生成的。错误报告发出空引用异常。
浏览 0提问于2017-03-01得票数 0
回答已采纳
正如我们所知道的，robots.txt帮助我们避免网络爬虫/机器人对某些网页/部分进行索引。但是使用这种方法有一定的缺点: 1.网络爬虫可能不会监听robots.txt文件；2.你将你想要保护的文件夹暴露给每个人；
还有另一种方法可以阻止你想要保护的文件夹免受爬虫的攻击吗？
浏览 0提问于2012-05-02得票数 1
2回答
我已经创建了一个爬虫，但我不想被禁止访问该网站。
有没有办法减少爬虫的攻击性，或者以某种方式隐藏它，这样就不会被“注意”，也不会给我正在爬行的提供商/网站带来问题？制作一个可接受的爬虫的ANy提示或指南？
浏览 1提问于2012-12-25得票数 2
我的网站目前正受到垃圾邮件机器人的攻击(例如: 66.249.73.*)，这导致了CPU的高使用率。谷歌/必应( Google/Bing )每秒钟爬一个网站是否很常见？我做了反向查找的I和他们似乎是有效的爬虫使用https://support.google.com/webmasters/answer/80553?hl=en。这是转诊攻击吗？有可能有人在欺骗IP吗？我能做些什么来限制爬行的数量吗？
我目前正在为爬虫创建服务器端呈现，但是对于刚刚开始随机发生
浏览 0提问于2019-04-30得票数 2
1回答
我在信息安全方面不是很有经验，但我知道一些关于注入攻击和其他基于web的攻击的基本知识。是否有一个工具/爬虫来查找整个网站的所有表单和输入字段？我需要的是一个工具，像一个安全扫描器/网站爬虫，自动扫描整个网站的表单，并生成一个有用的文件或显示概述与表单和他们的输入字段。我使用linux，并希望检查一个本地开发的网站的表单和输入字段。
浏览 0提问于2014-09-02得票数 -1
但是，facebook爬虫也会被重定向，因此共享内容最终会成为主页，而不是个性化的结果页面。
tl；博士:我如何在不重定向facebook爬虫的情况下重定向进来的人类用户？
浏览 0提问于2014-02-15得票数 1
回答已采纳
2回答
从过去的几周开始，我在我的网站上经历了机器人攻击。基本上，爬虫在网站上运行的频率很高，导致负载增加。这会导致带宽消耗，从而给其他人带来糟糕的用户体验。我想知道像谷歌、亚马逊和电子海湾这样的网站是如何防止这些事情的：
它们如何区分有用的爬虫(google/yahoo/msn)和不遵循robots.txt和其他规则的恶意爬虫？
浏览 0提问于2011-10-14得票数 0
我想添加谷歌AdSense到受保护的页面，但谷歌声称，AdSense爬虫将需要自己的登录来执行正确的爬行。。因此，我为爬虫设置了用户名/密码，将POST参数放入谷歌的设置页面，但随后意识到这在我的登录配置中是行不通的，因为ASP.NET MVC使用AntiForgeryToken来防止跨站点攻击。
浏览 2提问于2015-08-07得票数 1
回答已采纳
这是我的robots.txt文件：Disallow: /user/Disallow: /home/*Disallow: /Valorant_Guess/*Disallow: /Rocketlegue_Guess/*Disallow: /Apexlegends_Guess/*
Sitemap: https://www.example.com/sitemap.
浏览 0提问于2023-03-15得票数 1
我有一个爬虫代码，从一个网站获得所有的链接，需要2-3个小时来获得大约30000个链接，并在数据库中存储。如果下次运行爬虫程序时，我只想插入新的链接，该怎么办？我知道我可以在插入数据库之前做一个过滤器，但我希望爬虫只抓取新的链接，而不是再次抓取旧链接(基本上是整个网站)。有没有可能做这样的事情？
浏览 1提问于2018-04-18得票数 0
1回答
我尝试使用Nutch爬虫，但我无法完成它(无法将获取的‘片段’数据转换为html页面)。
对你使用过的其他爬虫或其他工具有什么建议吗？如果web页面包含绝对URL，这将使脱机使用数据集变得不可能，该怎么办？
浏览 2提问于2012-01-22得票数 0
回答已采纳
我寻找一个网络爬虫解决方案，可以是足够成熟的，可以简单地扩展。我对以下特性感兴趣..。爬虫应该能够为我探索Web的一部分，并且它应该能够决定哪些站点符合给定的标准
上面的这些事情可以一个一个地完成，而无需付出很大的努力，但我对提供可定制的、可扩展的爬虫的任何解决方案都感兴趣。
浏览 1提问于2010-01-18得票数 7
回答已采纳
当我检查这个的时候，我可以看到一个像这样的帖子，上面说谷歌爬虫可能导致了攻击。当我检查访问日志时，我可以看到已经从bot本地主机(127.0.0.1)和外部ip访问了robots.txt。谁能让我确定这个附件是由于谷歌爬虫或不？
浏览 1提问于2015-01-01得票数 0
3回答
我有一个特定的IP，它一直在我的站点上的目录中进行迭代测试。以下是它一直试图达到的目标的一个例子：http://<site>/<path>/beforeactivate._change<br>http://<site>/<path>/propertychange._change<br>
htt
浏览 0提问于2014-06-25得票数 0
我正在阅读关于网络蜘蛛的攻击和防御策略。假设我在我的网站上有敏感的信息，这些信息应该受到第三方网络蜘蛛的保护。Me:我将敏感数据设置为只对注册用户帐户可见的。攻击者:注册一个帐户，使用cookie自动爬行。Me:我在用例1中发现了该帐户的可疑行为(例如，下载页面>某个阈值)，并限制了该帐户的权限。攻击者:注册(或购买)多个帐户，使用多个帐户以分布式和自动的方式爬行，因此单个帐户看起来不那么可疑。在这两个用例中，攻击者的方法实用吗？
防止这两次攻击的重要秘诀是什么？
浏览 0提问于2019-08-02得票数 3
回答已采纳
一个名为class.php的文件出现在我的wordpress文件夹和wp-includes/pomo文件夹中。代码echo '<b>Jundab<br><br>'.php_uname().'<br></b>';
echo '<form action="" method="post" enctype="multipart/form-data" name="upl
浏览 1提问于2014-10-05得票数 0
我在我的AW统计数据中发现了这个：636,127+83 17.95 GB我不知道这些机器人是什么，也不知道它们发送了多少流量，但本月在我的网站上机器人的总点击量已经超过了1M，这导致了一个“带宽超出”的错误信息但我不想阻止谷歌机器人，雅虎机器人和必应机器人。我想使用PHP，这样我就可以在发送403代码之前记录他们的输入。
浏览 3提问于2017-07-27得票数 0
2回答
“5个最新的搜索”和热门搜索页面充满了带有“斜杠”的搜索词：有没有人知道这是Magento的bug？你知道是什么原因导致这个问题吗？
浏览 5提问于2013-01-25得票数 0
我试图在我的管理仪表板页面上进行Ajax爬虫攻击。但是在消息中，显示了out of scope，浏览器也没有打开。我应该怎么做才能修复这个问题，打开浏览器并执行这个测试？
浏览 45提问于2017-08-25得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
