我用scrapy和selenium(python)开发了一个网络爬虫。它可以在我的本地成功运行。我很好奇，我可以把我的整个爬虫项目上传到我的linux服务器上，然后像在本地一样运行吗？只有一个问题是在我的本地，当程序运行时，它会打开浏览器，模仿人类的动作，但在linux服务器上，就像你知道的，我们没有浏览器可以打开。
所以我们可以这样做吗？
浏览 1提问于2016-02-26得票数 0
我使用具有无限循环的python制作了一个简单的爬虫，所以它不能停止。随机延迟17 ~ 30，这个爬虫爬行相同的一个页面，并找到'href‘链接，定期更新，并存储到Mysql。因为我使用了Linux命令这个爬虫是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但爬虫突然停止了。第二天我再试一次。
浏览 1提问于2014-05-20得票数 0
回答已采纳
2回答
我正在构建一个测试爬虫，并且想知道Go (golang)是否缓存DNS查询。在中，我没有看到任何关于缓存的内容。这似乎是一个重要的事情添加到任何爬虫，以防止许多额外的DNS查询。如果没有，那么debian/ubuntu/linux、windows或达尔文/OSX在网络级别的缓存会受益吗？
浏览 8提问于2016-10-26得票数 13
回答已采纳
我使用PythonSchedul进度表每30分钟运行一次爬虫，我希望我的爬虫每隔30分钟运行一次，这个间隔是根据系统的时间计算的(例如mac、windows、linux)。
浏览 5提问于2022-06-08得票数 0
2回答
我需要运行我的爬虫从我的网络管理。我有两个想法要做：
爬虫将是我的网站的一部分，我会在后台运行它。我觉得这是个更好的解决办法。应用程序用C#编写，在Linux上使用.NET内核。
浏览 3提问于2016-06-11得票数 0
1回答
我试图通过使用gem命令安装instagram爬虫：但我收到以下错误：
构建本机扩展。这需要一段时间..。错误:安装instagram爬虫时出错:错误:无法构建创业板本机扩展。登录到/var/lib/gems/2.5.0/extensions/x86_64-linux/2.5.0/nokogiri-1.10.1/gem_make.out的结果
浏览 0提问于2019-02-05得票数 0
1回答
我正在做一个网页爬虫，所以我解析HTML页面。我的问题是有时页面编码不是UTF8 (ISO，外来的0-9等等)而我的分析器也被磨碎了。
浏览 0提问于2014-01-07得票数 0
2回答
然而，有时我会收到各种机器人和爬虫的访问。我如何温和地将它们重定向到其他地方而不“伤害他们的感情”？
我在想，我应该用机器人的名字建立一个数组，并根据它运行每个代理信息，如果在数组中找到，就重定向。
浏览 6提问于2012-01-14得票数 4
我怀疑这些google爬虫是合法的，因为这些爬虫并不总是在代理后面(就像主机名所描述的那样)，并将自己标识为浏览器。主机名的格式类似/类似于google，但是添加了字符串'proxy‘。我的PHP阻塞类会阻止这些爬虫，但是阻止这些爬虫是正确的吗？他们是什么，这些是来自谷歌还是它是假的？: No Agent_name : chrome Os_type : linux
Os_name这些
浏览 6提问于2013-04-05得票数 7
1回答
我想编写这样一个爬虫。那么，哪种工具/语言最适合实现这一点呢？我已经精通java和C语言，所以任何基于它们的东西都会很有帮助。
浏览 1提问于2013-03-27得票数 0
我有Windows XP (32位)和Windows7(64位)，但是 (爬虫)不能安装在这两个系统上。我目前只能在Linux上使用它，但是如何让它在Window机器上运行呢？
浏览 1提问于2012-05-29得票数 0
project = scrapBib'Building egg of scrapBib-1346242513
'build/bdist.linux-x86_64' does not exist -- can't clean itproject": "
浏览 2提问于2012-08-29得票数 5
回答已采纳
我正在使用phantomjs来构建一个网络爬虫。我目前使用的爬虫是一个使用selenium的Python脚本，它需要一个正在运行的Firefox浏览器。虽然Selenium非常适合于调试脚本(因为我可以使用firebug来检查网页)，但是如果没有GUI，它就不能部署到linux服务器上。
浏览 1提问于2013-07-31得票数 6
1回答
即使您在Linux或windows上发出多个并行异步DNS解析请求(以编程方式)，操作系统是否会序列化这些请求，并且不会将它们全部并行发送出去？想象一下一个网络爬虫场景，我需要每秒大量的dns查询，在一些早期的网络爬虫出版物中，提到dns成为瓶颈。
浏览 1提问于2010-12-10得票数 2
回答已采纳
1回答
我有一个linux专用服务器机器(8核8 8gbRAM)，在这里我运行一些爬虫php脚本。系统上的负载最终在200左右，这听起来很大。
浏览 4提问于2014-05-20得票数 0
回答已采纳
可能重复: 如何解决Flash问题？我只是不断的冻结，我的意思是电脑有大约6小时下载闪存插件。每次我尝试更新或使用dpkg获取闪存。
📷
浏览 0提问于2012-06-09得票数 0
1回答
/爬虫:找不到
FROM golang:1.16-buster AS build
COPY我的操作系统linux-server.20.04
浏览 5提问于2021-08-18得票数 0
1回答
我使用，当我运行我的爬虫时，我得到了这个错误 (Driver info: chromedriver=2.9.248304,platform=Linux 3.16.0-4-amd64 x86_64)我下载了chromedriver (二进制)，并将其复制/粘贴到我尝试过的/usr/bin中。
浏览 3提问于2016-07-18得票数 1
1回答
一个网络爬虫买了我们的网站两次。它忽略了我们的robots.txt，我们没有得到客户服务的回复，也没有使用电子邮件和twitter的支持。这在一定程度上是因为我们的网站是一个古老而破旧的遗留系统，但谷歌的爬虫和必应的爬虫并没有打倒我们，我们的正常业务流量也很好。对一个机器人进行大量的投资/开发是不明智的。
浏览 0提问于2012-06-15得票数 2
回答已采纳
3回答
我的一个朋友问我这个问题，我无法回答。它的工作原理是这样的，你像something.com这样进入你的网站，然后我们的网站抓取该网站上的内容，比如图片，然后所有这些都上传到我们的网站上。然后，即使支持something.com的服务器宕机，人们也可以在我们的site.com/omething.com上查看该站点的精确副本。
浏览 2提问于2010-08-01得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
