腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
Linux
服务器上使用Selenium运行Scrapy Web Crawler
、
、
、
、
我用scrapy和selenium(python)开发了一个
网络
爬虫
。它可以在我的本地成功运行。我很好奇,我可以把我的整个
爬虫
项目上传到我的
linux
服务器上,然后像在本地一样运行吗?只有一个问题是在我的本地,当程序运行时,它会打开浏览器,模仿人类的动作,但在
linux
服务器上,就像你知道的,我们没有浏览器可以打开。 所以我们可以这样做吗?
浏览 1
提问于2016-02-26
得票数 0
2
回答
去缓存DNS查找吗?
、
、
我正在构建一个测试
爬虫
,并且想知道Go (golang)是否缓存DNS查询。在中,我没有看到任何关于缓存的内容。这似乎是一个重要的事情添加到任何
爬虫
,以防止许多额外的DNS查询。如果没有,那么debian/ubuntu/
linux
、windows或达尔文/OSX在
网络
级别的缓存会受益吗?
浏览 8
提问于2016-10-26
得票数 13
回答已采纳
2
回答
ASP.NET内核中的异步任务
、
、
、
我需要运行我的
爬虫
从我的
网络
管理。我有两个想法要做:
爬虫
将是我的网站的一部分,我会在后台运行它。我觉得这是个更好的解决办法。应用程序用C#编写,在
Linux
上使用.NET内核。
浏览 3
提问于2016-06-11
得票数 0
2
回答
浏览器限制会影响网页
爬虫
吗?
、
、
return Redirect("/h"); return View(); 问题:如果我限制一些浏览器访问我的主视图,它也会限制对
网络
爬虫
的访问吗
浏览 0
提问于2013-02-21
得票数 0
回答已采纳
1
回答
客户端操作系统上的DNS查询是否序列化?
、
、
即使您在
Linux
或windows上发出多个并行异步DNS解析请求(以编程方式),操作系统是否会序列化这些请求,并且不会将它们全部并行发送出去?想象一下一个
网络
爬虫
场景,我需要每秒大量的dns查询,在一些早期的
网络
爬虫
出版物中,提到dns成为瓶颈。
浏览 1
提问于2010-12-10
得票数 2
回答已采纳
1
回答
搜索引擎,它根据非结构化数据创建有关主题的信息表。
、
、
、
我正在寻找一个web应用程序,它可以以与搜索引擎非常相似的方式从
网络
上收集数据,但它不会将结果作为标题和摘要的列表,而是将结果转储到一个表中,试图从其内部索引中的页面中提取元数据。(很久以前,谷歌有一个叫做Google Squared的
网络
应用程序。今天还有其他类似的工具吗?这是维基百科页面中的相关描述: Google从整个
网络
中提取结构化数据,并以类似电子表格的格式显示其结果。每个搜索查询返回一个搜索结果表,其中有自己的一组列--与搜索主题相关联的公共属性。
浏览 0
提问于2023-02-07
得票数 2
1
回答
为cron作业/调度程序选择哪个Windows VPS
、
、
、
、
我有一个
网络
爬虫
,我想每5分钟执行一次。正如其他成员在这里建议的那样,我需要一个VPS托管和运行cron作业。我的问题是:我的VPS应该有什么样的Windows,这样配置就容易了,并且不需要太多的管理技能? 谢谢
浏览 1
提问于2015-06-01
得票数 0
1
回答
重定向时的道德/法律考虑
、
一个
网络
爬虫
买了我们的网站两次。它忽略了我们的robots.txt,我们没有得到客户服务的回复,也没有使用电子邮件和twitter的支持。这在一定程度上是因为我们的网站是一个古老而破旧的遗留系统,但谷歌的
爬虫
和必应的
爬虫
并没有打倒我们,我们的正常业务流量也很好。对一个机器人进行大量的投资/开发是不明智的。
浏览 0
提问于2012-06-15
得票数 2
回答已采纳
3
回答
如何从另一个网站“抓取”内容
、
我的一个朋友问我这个问题,我无法回答。它的工作原理是这样的,你像something.com这样进入你的网站,然后我们的网站抓取该网站上的内容,比如图片,然后所有这些都上传到我们的网站上。然后,即使支持something.com的服务器宕机,人们也可以在我们的site.com/omething.com上查看该站点的精确副本。
浏览 2
提问于2010-08-01
得票数 0
回答已采纳
1
回答
爬取白页的可能解决方案
、
我正处于一个我必须编写的程序的开始阶段,该程序将从我拥有的大型数据库中提取用户,并将其与任何类似于Whitepages电话簿的内容进行比较。这样做的原因是为了用更新的相关联系信息更新存储在我的数据库中的任何旧联系信息。到目前为止,我只接触过Whitepages Pro,它提供了一个API,允许我对他们的数据库运行一些查询,并返回我认为是最新的信息。我可以访问用户的电话号码、姓名和地址,因此最初的想法是将旧的电话号码+姓名与更新的数据库进行比较,以更正旧的数据。我的问题是,对于我的问题,这看起来是一个好的解决方案吗?Whitepages似乎是我唯一可以使用的工具(它确实花费了300美元,但如果它
浏览 1
提问于2015-05-01
得票数 0
2
回答
在网站和独立应用程序中使用Django框架
、
我计划为它写一个
网络
爬虫
和一个基于
网络
的前端(或者至少是它找到的信息)。我想知道是否可以使用Django框架让
网络
爬虫
使用与网站相同的MySQL后端(而不是让
网络
爬虫
本身成为“网站”)。
浏览 1
提问于2009-06-04
得票数 1
回答已采纳
5
回答
有哪些好的基于Ruby的
网络
爬虫
?
、
我正在考虑写我自己的,但我想知道是否有好的
网络
爬虫
在那里是用Ruby编写的。 除了一个成熟的
网络
爬虫
,任何可能有助于构建
网络
爬虫
的gem都将是有用的。我知道这个问题的这一部分在几个地方被涉及到了,但是一个适用于构建
网络
爬虫
的宝石列表也是一个很好的资源。
浏览 2
提问于2011-02-13
得票数 21
回答已采纳
1
回答
Facebook Linter / Open Graph截取URL路径
、
、
、
、
我一直在网上和StackOverflow上寻找答案,但我没有找到完全适用于我的情况的案例。我使用Facebook Linter来调试FB抓取我的meta标签的方式。如果我在一个简单的About页面上使用它,它可以提取所有内容,特别是og:url元标记。当我抓取正常的内容页面时,问题就开始了。尽管我已经三次检查了我的标记格式是否正确,但FB Linter将URI从URL中删除,因此它报告og:url标记只有域名electionstats.com/!页面上实际存在的og:url标记如下所示: 我怀疑这是FB缓存页面的问题,因为在我的About页面上,我进行了快速代码更改,更
浏览 3
提问于2011-10-10
得票数 0
回答已采纳
1
回答
Web Crawler的功能
、
、
网络
爬虫
是否只从网页中返回提取的文本?例如,如果web服务器中也存储了一些pdf/doc文件。
网络
爬虫
可以爬行它们并返回它们的内容吗?不管怎样,对于一个好的开源Java
网络
爬虫
有什么建议呢? 谢谢!
浏览 2
提问于2011-06-26
得票数 0
回答已采纳
1
回答
如何将
Linux
配置为使用TCP进行DNS查询?
当我为10万个域运行我的
网络
爬虫
时,很多DNS查询都是通过UDP进行的,我的ISP阻止了我的流量,以为我在做DDoS攻击。是否可以将
Linux
配置为使用TCP而不是UDP来进行DNS查找查询?
浏览 0
提问于2016-03-07
得票数 2
回答已采纳
2
回答
建立一个自定义的网页
爬虫
的最佳方法,以便在URL中找到带有任意文本的站点?
、
但是,没有使用任何搜索引擎,这意味着,编写一个纯
网络
爬虫
。--很明显,它永远不会停下来运行.它甚至在碰到我想要的东西之前会遇到很多“垃圾”站点。
浏览 8
提问于2010-09-26
得票数 0
回答已采纳
5
回答
Googlebot是用哪种编程语言编写的(或任何其他高效的
网络
爬虫
)?
、
或者,更普遍的是,高效的
网络
爬虫
是用哪种语言编写的? 我见过很多Java语言,但在我看来,它不是最适合开发
网络
爬虫
的语言,因为它产生了太多的开销(尝试使用Heritrix
网络
爬虫
,它非常重)。
浏览 0
提问于2009-10-29
得票数 1
回答已采纳
2
回答
基于PHP的Web
爬虫
或基于JAVA的Web
爬虫
、
、
我对基于PHP的
网络
爬虫
有些怀疑,它能像基于java线程的
爬虫
一样运行吗?我之所以问这个问题,是因为在java中,线程可以一次又一次地执行,我不认为PHP有类似线程的功能,你们能说一下,哪个
网络
爬虫
更能充分利用吗?基于PHP的
爬虫
还是基于Java的
爬虫
浏览 1
提问于2010-07-27
得票数 0
回答已采纳
2
回答
在MYSQL中删除非常非常相似的行
、
在PHPMYAdmin中,我正在运行一个
网络
爬虫
。
网络
爬虫
偶尔会拾取相同的urls。在
网络
爬虫
中,它已经索引了数千个链接,我不想要重复的链接。有没有办法在SQL中删除相似的行(唯一的区别是id字段)
浏览 1
提问于2012-08-17
得票数 0
3
回答
用于调试phantomjs脚本的GUI
我正在使用phantomjs来构建一个
网络
爬虫
。我目前使用的
爬虫
是一个使用selenium的Python脚本,它需要一个正在运行的Firefox浏览器。虽然Selenium非常适合于调试脚本(因为我可以使用firebug来检查网页),但是如果没有GUI,它就不能部署到
linux
服务器上。
浏览 1
提问于2013-07-31
得票数 6
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
网络爬虫
网络爬虫简介
网络爬虫常用的几种技巧,三探爬虫,理解爬虫
什么是网络爬虫?
Golang 原生实现简单爬虫:了解网络爬虫原理
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券