1回答
我正在写一个爬虫。一旦爬虫登录到一个网站，我想使爬虫“停留-始终登录”。我该怎么做呢？客户端(如浏览器、爬虫等)使服务器遵守此规则吗？当服务器在一天内允许有限的登录时，可能会出现这种情况。
浏览 0提问于2009-11-26得票数 0
回答已采纳
1回答
我想写一个爬虫来做一些基础设施(路由器，WAPS，系统等)的清单。所以，我在服务器上安装了一个应用程序，以及如何部署它。爬虫是怎么开始的？爬虫是如何返回数据的？
浏览 5提问于2008-12-05得票数 0
我写的sitemap scrapy如下： name = "filmnetmapSpider" videoid = response.xpath('/loc/text()').extract()我想写另一个爬虫，它的start_url是前一个爬虫</e
浏览 2提问于2018-07-04得票数 0
我想写一个爬虫在Java中自动登录到gmail帐户。我的爬虫将获得登录Id和密码，并将登录到电子邮件帐户，并显示输出页面。我不清楚该怎么做。谁能告诉我如何编写爬虫登录到gmail电子邮件帐户？任何回应都将不胜感激。
提前谢谢。
浏览 2提问于2010-08-27得票数 1
我正在写一个抓取许多urls作为输入的爬虫，并将它们分类为类别(作为项目返回)。这些URL通过我的爬虫提供给爬虫start_requests()方法。我怎么才能绕过这一步呢？ 我曾考虑过在自定义中间件中捕获这些请求，这将使它们变成虚假的Response对象，然后我可以将它们转换为Item对象，但任何更简洁的解决方案都是受欢迎的。
浏览 105提问于2016-02-10得票数 5
回答已采纳
1回答
我想用JS写我自己的网络爬虫。我正在考虑使用node.js解决方案，如
目标是每10分钟进行一次“爬行”，所以我希望我的爬虫每10分钟从网站上获取数据。
浏览 3提问于2015-05-23得票数 5
回答已采纳
使用Knockout.js，是否有一种方法可以让元素的原始内容显示可观察到的绑定是否未定义？ko.applyBindings(new ViewModel());我知道有一些使用visible、hidden或if的解决方案，但我发现这些方法太麻烦了；我不希望相同的元素写两次，每次写一次。沿着这条路走，如果JS被禁用，那么什么都不会出现。爬虫也是如此:他们只会看到一个空的<p>标记。
总之，我想说的是“如果存在此消息，请显示它，否则不要使用元素和它的文本
浏览 4提问于2014-11-20得票数 2
回答已采纳
我正在用scrapy写一个爬虫，但是，我遇到了一些用js渲染的网站，因此urllib2.open_url不能工作。有没有什么方法可以用webbrowser来做这件事，或者有没有其他没有webbrowser的解决方案来处理js站点？
浏览 1提问于2013-01-11得票数 2
我遇到了一些问题谷歌爬虫和元标签，我使用反应头盔(没有ssr)的反应ssr。反应头盔确实有效，但谷歌搜索似乎找不到我添加的标签。我知道爬虫在没有启用js的情况下运行网站，在测试时我可以看到，当js被禁用时，头盔不会呈现标签(启用时可以正常工作)。知道怎么做吗？
谢谢你的帮助。
浏览 0提问于2020-12-28得票数 0
回答已采纳
我是一个相对新手的程序员，对PHP有很好的理解，但更多的是阅读，理解和复制我需要的部分，而不是从头开始开发。我已经查看了cURL，但似乎没有提供我正在寻找的东西，除非我遗漏了什么？
浏览 5提问于2013-02-21得票数 0
惠普应该怎么写？每次conter.hpStatus.Width-= 1；HP的图标都会被扭曲，特别是HP=0是最明显的。
} else { }我怎么才能确保他不变形
浏览 1提问于2020-03-03得票数 0
回答已采纳
我计划为它写一个网络爬虫和一个基于网络的前端(或者至少是它找到的信息)。我想知道是否可以使用Django框架让网络爬虫使用与网站相同的MySQL后端(而不是让网络爬虫本身成为“网站”)。
浏览 1提问于2009-06-04得票数 1
回答已采纳
我正在用webkit写一个爬虫，webkit会缓存东西吗？我需要使用squid作为我的基于webkit的爬虫的代理吗？
浏览 0提问于2012-04-20得票数 1
回答已采纳
我在这里遵循了一个简单的网络爬虫()的教程，其中一行是require 'command_line_argument_parser'。
我的系统找不到宝石。这篇文章是在2009年写的。你知道该怎么做吗？
浏览 4提问于2012-07-19得票数 0
我正在并行运行许多many爬虫实例。其他并行爬虫在选择自己的域之前检查日志表以查看哪些域已经被爬行。我需要阻止其他爬虫选择刚刚被另一个爬虫选择但还没有日志条目的域。我对如何做到这一点的最佳猜测是，当一个爬虫选择一个域并在日志表中插入一行(两个查询)时，锁定来自所有其他读/写的数据库。一个人是怎么做到的？恐怕这是非常复杂的，而且依赖于许多其他的东西。请帮我开始
浏览 10提问于2011-07-08得票数 38
回答已采纳
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
我正在考虑写我自己的，但我想知道是否有好的网络爬虫在那里是用Ruby编写的。
除了一个成熟的网络爬虫，任何可能有助于构建网络爬虫的gem都将是有用的。我知道这个问题的这一部分在几个地方被涉及到了，但是一个适用于构建网络爬虫的宝石列表也是一个很好的资源。
浏览 2提问于2011-02-13得票数 21
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
