我知道您可以禁止爬虫中的: /page1.cfm，但是如果我只想禁止该页面的一部分，比如该页面上存在的链接或联系人表单，该怎么办？这种功能有可能实现吗？根据我最近读到的一些论坛，"nofollow“功能不再有效，因为爬虫变得更智能了。(我不知道那个论坛的可信度如何，所以如果有人有更好的来源，请分享)
有什么建议吗？
浏览 2提问于2012-06-02得票数 1
回答已采纳
1回答
我在S3中有一个加密的文本文件。我希望使用AWS Glue将这些数据加载到RDS Aurora。
如果不是，什么最好的方式来摄取加密的数据到AWS胶，而不解密它。
浏览 0提问于2019-04-30得票数 1
回答已采纳
1回答
我有一个用户表，我需要在其中存储加密格式的电子邮件。我可以通过在用户模型中将值encrypted设置为true来做到这一点。但当我试图根据电子邮件id获取数据时。我正在传递没有加密值的纯文本格式的电子邮件id，并试图找到具有该值的记录。但我无法发现值始终为空。 有没有办法用解密的值和以加密格式存储的值来查询记录？？ 下面是我正在尝试做的代码片段。
浏览 15提问于2020-08-17得票数 0
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
我需要使用PHP从网站中获取数据，并将其保存在MySQL数据库中。我还想获取图像并将它们保存在我的服务器中，以便在我的站点中显示它们。我听说可以使用API，但是我想知道我是否可以使用CURL来完成这个任务。我想每天获取大量的数据，那么使用CURL会消耗大量的服务器端资源吗？还有哪些其他方法可以获取数据？
浏览 5提问于2011-08-17得票数 1
问题是，整个intranet都在使用表单身份验证，因此爬虫必须在没有实际用户凭证(例如用户名和密码)的情况下访问每个应用程序。因此，我的想法是让爬虫创建一个cookie，该cookie将爬虫标识为具有每个应用程序的所有角色。
浏览 1提问于2011-11-28得票数 0
回答已采纳
目的是避免容易被Web爬虫复制的文章。生成一个字体，以抵消替换和传输到Web前端.(这是通过让文本字符呈现代替它们的实际字符来实现的。)爬虫者看到的是胡言乱语。目标已实现。
浏览 0提问于2017-09-05得票数 2
救命救命！谷歌在我的网站上索引了一个测试文件夹，除了我应该知道的以外，没有人知道:(！如何限制google索引链接和某些文件夹。
浏览 0提问于2009-06-11得票数 2
回答已采纳
在这个php页面中，我将返回一个加密的json。同样在这个页面中，我有一段代码来跟踪哪个in正在访问这个php页面，并且我注意到有一个spyder/Nutch-2爬虫正在访问这个页面。我在想，一个爬虫怎么可能找到一个没有在任何搜索引擎中发布的页面。我有办法阻止爬虫访问这个特定的页面吗？
我应该使用.htaccess文件来配置它吗？
浏览 7提问于2014-04-15得票数 1
1回答
几周前，我在这个岗位上工作得很好：javax.crypto.BadPaddingException: Given final block(CipherCore.java:824)at javax.crypto.Cipher.doFinal编辑
加密字符串如下：{"company_name":
浏览 5提问于2015-05-21得票数 8
回答已采纳
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
1回答
我正在用Java开发一个网络爬虫。我正在寻找一个很好的项目开发这个爬虫的基础上。然而，实际上有超过几百个用Java编写的爬虫程序。我要找的是一个相当简单的爬虫，它有：
基于最新的Java构建和新的functionalityGood performanceImplemented好documentationNot的多线程documentationNot
浏览 1提问于2012-04-16得票数 0
回答已采纳
2回答
到目前为止，我能够发现网络爬虫/蜘蛛可以用来从网页上删除数据。但我不确定网络爬虫在我们需要用户登录并且页面urls是加密的，或者至少是动态生成的urls的情况下是否有用。如果爬虫是这个问题的解决方案，请提供一些我可以在我的.net应用程序中使用的web爬虫API的链接。Atif
浏览 4提问于2011-09-09得票数 0
回答已采纳
1回答
向机器人隐藏代码
、、、、
有没有一种方法只对爬虫隐藏页面的特定部分？那么，有没有办法对机器人隐藏某些部件，但在未来不会对用户隐瞒？不是整页，只是部分。但没有理由不让智能js阅读爬虫来隐藏它。麦芽酒
浏览 6提问于2014-10-16得票数 0
回答已采纳
2回答
我正在尝试用Java编写一个web爬虫，到目前为止，它主要是起作用的，尽管我在使用JavaScript或PHP动态获取内容的网站上有问题，例如，如果我尝试抓取一个tumblr博客，而不是通过链接和所有我只获得
浏览 0提问于2012-12-20得票数 2
我正在阅读angular的服务器端渲染文档，因为它们提到服务器端渲染是帮助爬虫。我知道在服务器端渲染爬虫可以获得整个dom，但爬虫也可以与组件交互，那么它如何帮助爬虫呢？
浏览 18提问于2019-09-15得票数 0
1回答
我试图在AWS中创建一个爬虫，但是它给出了错误：{"service":"AWSGlue","statusCode":400,"errorCode":"AccessDeniedException","requestId这就是我到目前为止所做的：
accountChoose 在AWS 中创建一个数据库，在数据库中使用爬虫名称--爬虫--选择AmazonS3作为数据存储，并在我的中指定一个存储桶内的csv文件的路径，这是我在我已经将Adm
浏览 3提问于2022-08-02得票数 1
回答已采纳
1回答
我要做个爬虫。对于http请求，我曾经这样做过。', function () { }); http.request(options, callback).end(); throw er; // Unhandled 'error' eventError: getaddrinfo ENOTFO
浏览 2提问于2015-01-18得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
