我使用import.io创建了一些爬虫，但是对于其中一些爬虫来说，本地运行的选项似乎没有显示出来。有谁知道为什么他们没有从本地运行按钮，或者我怎么才能把爬虫放进去？
浏览 2提问于2015-11-29得票数 0
2回答
腾讯云Centos7.1 64位系统。我在本地win8环境下用java写了个小爬虫程序，没什么问题，但将程序部到服务器上就发生了乱码 ，我的编码设置就是网页源代码的编码。求帮助。。核心的代码：String encoding="UTF-8";
浏览 857提问于2016-03-17
1回答
我正在尝试使用云构造来创建和调用AWS Glue爬虫。爬虫的创建部分(作为目标的发电机数据库)在lambda函数中。 我如何使用云形成来实现所有这些？例如，从s3中存在的cod创建λ函数，在创建lambda函数后，应该触发它来创建爬虫程序，然后应该调用爬虫程序来创建目标表。我希望所有这些都是云的形成。
浏览 21提问于2019-09-17得票数 0
我的网站的一个设计特点是爬行和显示从另一个网站分析的数据(例如，股票价格的变化)。我已经有了负责解析数据的python爬虫，但是我不知道如何(在后台)在firebase中执行服务器的这个python爬虫(或者根本不可能)？下面是我的系统的示例用法
我的爬虫将每1小时解析该网站并将数据更新到数
浏览 0提问于2018-01-25得票数 3
我有一个Android应用程序，它使用套接字(和ssl)连接到服务器。这在wifi上运行得很好，但在移动数据上就不行了。SSLSocketFactory正如我在上面的代码行中所描述的，应用程序挂起在这一行，我得到了一个异常: java.net.ConnectException: failed to connect
浏览 0提问于2016-06-06得票数 1
我在Bittorrent Protocol的基础上用java写了一个分布式哈希表torrents爬虫。它在1c2g1m的云服务器A上工作得很好，我从那里得到了一些torrents。然后我买了另一个云服务器B，叫做Lighthouse。B为1c2g5m，限制为1000g。但是我的爬虫在B上不起作用，我无法获得任何响应，例如find_node响应。我使用linux nc测试了B
浏览 42提问于2021-03-22得票数 1
1回答
我正在努力理解云铸造的架构。
对于部署在云上的每个应用程序，每个应用程序都有一个Health吗？还是只有一个运行管理器监视部署在云上的所有应用程序？你能给我举个例子吗？NFS服务器用于什么？
浏览 2提问于2014-07-02得票数 0
回答已采纳
我编写了一个爬虫脚本，将post请求发送到"sci-hub.do“，并将其设置为在Heroku上运行。但当它尝试发送post或get请求时，我得到的大多是403禁止消息。奇怪的是，只有当这个脚本在Heroku云上运行时才会发生这种情况，当我在我的PC上运行它时，一切都很好，我得到了200状态代码。 我尝试过使用会话，但它不起作用。我还检
浏览 13提问于2021-01-28得票数 0
我已经在Google云上部署了一个Spring-boot应用程序。这是一个web应用程序，其中JS客户端从摄像头捕获帧并将其发送回服务器。服务器处理这些图像并将它们存储在一个目录中。这个应用程序在本地和Google云上都运行得很好。但是在云上，我找不到应用程序创建的目录。你能
浏览 14提问于2020-08-07得票数 0
回答已采纳
6回答
我正在为我的一门大学课程做毕业设计，我需要找到一些地方来运行我用C#写的几个爬虫。没有虚拟主机的经验，我有点迷茫。这是任何网站都允许的吗？我是否需要一个特殊的主机来为服务器提供更多的访问权限？爬虫是一个简单的应用程序，它完成自己的工作，然后定期将信息写入远程数据库。
浏览 1提问于2009-08-03得票数 8
1回答
我正在同一网络上的3台Windows机器上运行三个web爬虫(Java程序)实例。
我想编写一个主java程序来监视所有的3个web爬虫程序，如果有任何程序被终止，就会重新启动那个特定的程序。。我能够将客户端机器上的java程序绑定到套接字上，并从服务器监视套接字，但如果程序
浏览 2提问于2015-05-28得票数 1
回答已采纳
3回答
我有两个问题：谢谢。
更新：我看过视频中的一个答案，但我还是有点困惑。以Google为例，我看到的只是一个用
浏览 11提问于2012-01-13得票数 7
回答已采纳
有没有什么好处或缺点，如果你提供轻量级版本的页面优化搜索引擎优化，如果机器人爬行，如果人们来自网络，然后反应SPA，这完全是javascript应用程序。基本上的问题是，有没有实践，实际上像短的HTML版本，其中只包含搜索引擎优化重要的东西，并为机器人和用户的整个页面撕开所有其他东西。
有没有人使用过这种技术的用例或例子？
浏览 4提问于2018-10-24得票数 1
1回答
我目前有一个scrapyd实例，并在我的机器上本地运行。此scrapyd实例需要在我的雇主网络上的其他PC上可用。我读过关于刮刮云()和其他基于云的服务的文章。然而，我更愿意在我们的网络上托管scrapyd，因为我构建的爬虫从我们服务器上存储的csv文件中提取数据。
我搜索了scrapyd文档
浏览 13提问于2017-02-03得票数 0
回答已采纳
我使用使用scrapy和scrapyd抓取的信息将数据解析为MySQL，然后用python脚本将数据转换为我上传到网站的数据。我想要自动化这个过程，我只是不知道我应该怎么做。我需要MySQL云吗？
我需要像"python“这样的东西来在线运行脚本并告诉scrapyd运行吗？我希望这个过程是持续的，而不做任何从我的
浏览 2提问于2019-11-16得票数 0
我有一个服务，是爬一个合作伙伴的网站。他们的网站通过IP地址阻止“机器人一样”的行为。他们不控制自己的服务器，所以他们希望我经常改变我的爬虫的IP地址(例如每分钟)。爬虫目前正在以Azure服务的形式运行。我可以用代理..。但是这个站点是在SSL上</em
浏览 0提问于2013-08-18得票数 2
回答已采纳
我看到了一篇文章：，在这里，我了解到即将推出的Serverless containers on Cloud ，该产品目前在Alpha中。如该条所述：
云函数上的无服务器容器使您能够在GCP上运行您自己的
浏览 2提问于2019-02-15得票数 0
回答已采纳
1回答
托管爬虫的最佳解决方案？
、、、
我有一个爬虫，爬行几个不同的领域为新的帖子/内容。总内容数为十万页，每天都有很多新的内容添加。因此，为了能够通过所有这些内容，我需要我的爬虫爬行24/7。目前，我将爬虫脚本托管在与爬虫添加内容的站点相同的服务器上，而且我只能在夜间运行cron作业来运行脚本，因为当我这样做时，网站基本上停止工
浏览 3提问于2014-03-06得票数 10
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
