2回答
Hi，我正在编写一个函数测试，我想知道如何对一个按钮执行简单的单击，我有一个隐藏的表单，显示在按钮单击后$button = $crawler->filter('button:contains("Add")');但是，看来click()函数接受的是Link对象，而不是Crawler对象。
浏览 4提问于2015-03-19得票数 4
回答已采纳
我有一个春天启动网络项目，需要与网络爬虫系统的工作。我的爬虫服务在没有任何停机时间的情况下工作，每个爬虫请求可能有很长的处理时间。我想通过一个REST接口获取抓取的URL。我的web应用程序中的用户将URL列表提交给web应用程序，我想向他/她显示:您的请求已提交。完成此请求的爬网后，我希望更新web表单中的请求状态。实现此场景的最佳方法是什么？
浏览 32提问于2020-10-22得票数 1
我们正在寻找一个Solr 4.9设置，其中我们有一个非常简单的爬虫清除和加载一个“爬虫”核心，然后触发一个数据副本到“搜索”核心时，爬行完成。这样做的目的是，我们的爬虫非常简单，不真正跟踪文档的方式，将有助于进行更新和删除。基本上，爬虫将清除整个“爬虫”核心，撕毁大约50k个文档(提交1000多个文档)，然后触发一些东西将数据复制到另一个“搜索”核心。
假设我们必须重新启动搜索核心，如何通过命令行或代码实现这一点？
浏览 9提问于2014-08-25得票数 0
回答已采纳
我有一个网络爬虫应用程序。它成功地抓取了大多数常见和简单的网站。现在，我遇到了一些类型的网站，其中HTML文档是通过表单或javascripts动态生成的。
浏览 0提问于2010-03-30得票数 5
回答已采纳
1回答
问题是爬虫找不到规范的站点，因为它是通过Angular动态加载的。有没有可能绕过这个限制，比如在Angular项目的索引站点中放置对所有对象的引用？更清楚地说：object的详细视图: mysite.com/#/ detail /object1
如果我根据当前显示的对象动态添加对amp页面的引用，爬虫将找不到amp
浏览 1提问于2017-09-18得票数 0
1回答
芹菜不停工
、、
例如，如果社交媒体1每小时有10个新帖子，社交媒体2每小时有5个帖子，那么2个爬虫专注于社交媒体1，1个爬虫专注于社交媒体2(如果允许我们只有3个爬虫)。我决定通过Celery、Flask、rabbitMQ和Kubernetes作为资源管理器来实现这个项目。如何告诉celery在rabbitMQ中保留固定数量的任务？这个爬虫应该永远不会停止爬行，并且应该基于社交媒体的帖子速率(从以前的爬行数据收集)来创建一个新任务，但问题是，我没有一个任务提交者来完成这个过程
浏览 0提问于2021-06-03得票数 0
1回答
爬虫如何在我的应用程序中导航？它是否会触发搜索，从而导致出现错误页面？或者它只能跟踪没有嵌入到表单中的链接(好吧，struts使得几乎所有的内容都指向表单，因此只有一些链接，主要是onclick重定向和表单操作)
我如何才能提供有用的信息，可以被索引到这样的爬虫？
浏览 1提问于2011-10-05得票数 0
回答已采纳
1回答
实现站点上每页查看计数器的最佳方法是什么(就像Stackoverflow有问题页一样)？选项：
AnalyticsCount 以编程方式从Google 中获取唯一的页面浏览次数(尽管这种方法对爬虫和机器人进行计数)，计数该页面的服务时间，并试图通过JS过滤出爬虫用户代理Ping服务器(然后过滤出来自同一个
浏览 3提问于2010-12-23得票数 0
回答已采纳
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
1回答
我想这是错误的，因为爬虫将是英语，所以它永远不会爬行其他语言，因为其他语言有相同的原始URL，它不会吗？
在提供语言参数时使用https://example.org/?
浏览 0提问于2016-11-23得票数 3
我使用"www.example.com“提交了应用程序，AdSense给我的答复说，我的申请被拒绝了，因为"dev.example.com”不可用。我的两个问题是AdSense是如何获得本地虚拟主机URL的，以及为什么它要使用该URL作为批准而不是我在应用程序中提交的URL？
浏览 0提问于2014-05-08得票数 4
1回答
我想了解Googlebot (和其他爬虫)如何爬行我的网站。具体而言，它是否传递一个document.referrer，如果它维护localStorage密钥，那么我通过Google实现了一个脚本，该脚本检测这些爬虫并将数据记录到Logstash。这是我用来检测爬虫用户代理的条件(为爬虫返回true )：if(navigator.userAgent.indexOf('robot de Google') < 0 &&;
js</e
浏览 0提问于2018-02-09得票数 4
回答已采纳
1回答
所有的工作都很好(这些是提交按钮)
无论如何，我也有一个以前的jQuery脚本，它从一个外部文件中获取所有的href超链接，并从一个设置的div中添加内容，然后添加到我当前页面的一个div中，所有这些都在一个动画中完成但是在任何情况下，使用css按钮都不能作为表单的提交按钮，不是吗？我是否应该同时使用表单按钮和css按钮？你的工作是什么?
浏览 0提问于2010-04-13得票数 1
回答已采纳
我注意到，来自蜘蛛和爬虫的访问产生了对该API的数千次调用，而我正在为这些调用收费。有没有办法阻止显示由API生成的内容的网页部分，即只有实际的访问者才能看到它，并且在抓取网页时不会生成API调用？
浏览 1提问于2016-10-23得票数 2
因为大多数站点都是通过表单动态访问的(用户可以在表单中输入一个关键字来搜索)，所以我想向Google提交一个站点地图，通知他们的爬虫我的页面。有两个问题：我想在提交后删除站点地图，因为我不想被竞争对手爬行。我应该向Google提交一个站点地图，还是让爬虫自己索引页面更好？
浏览 0提问于2017-12-04得票数 0
回答已采纳
1回答
我已经为一个朋友的面包店做了一个简单的网站，它没有出现在谷歌的搜索结果，即使我搜索整个域名的网站。怎么才能让它看起来？
(现场)
浏览 0提问于2014-06-12得票数 0
1回答
向机器人隐藏代码
、、、、
有没有一种方法只对爬虫隐藏页面的特定部分？那么，有没有办法对机器人隐藏某些部件，但在未来不会对用户隐瞒？不是整页，只是部分。但没有理由不让智能js阅读爬虫来隐藏它。麦芽酒
浏览 6提问于2014-10-16得票数 0
回答已采纳
我正在阅读angular的服务器端渲染文档，因为它们提到服务器端渲染是帮助爬虫。我知道在服务器端渲染爬虫可以获得整个dom，但爬虫也可以与组件交互，那么它如何帮助爬虫呢？
浏览 18提问于2019-09-15得票数 0
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
腾讯云开发者
