0回答
将爬虫部署到腾讯云服务器后，云服务器一直无法访问本机的redis。本机的redis已经开启远程访问。
360截图-8277578.jpg
浏览 299提问于2019-05-22
只要开始使用firebase + react就可以建立一个网站。我的网站的一个设计特点是爬行和显示从另一个网站分析的数据(例如，股票价格的变化)。我已经有了负责解析数据的python爬虫，但是我不知道如何(在后台)在firebase中执行服务器的这个python爬虫(或者根本不可能)？
下面是我的系统的示例用法
用户登录和订阅网站/数据他们很感兴趣
我的爬虫将每1小时解析该网站并将数据更新到数据库。
用户可以从数据库中看到网站变更的摘要。
我想到的一个选择是在本地机器上运行爬虫，并使用REST将解析的数据更新到firebase数据库。然而，这似乎是一种非常低效/天真的方法，
浏览 0提问于2018-01-25得票数 3
1回答
python爬虫--不限平台歌曲下载（收费也可） - 云+社区 - 腾讯云 (tencent.com)
image.png
浏览 173提问于2022-05-26
我在scrapy中开发了几个爬虫&我想在Heroku云上测试它们。有没有人知道如何在Heroku云上部署Scrapy spider？
浏览 1提问于2012-10-08得票数 11
回答已采纳
实验室牛马一枚，被拉来干爬虫的协同部署，还得抓取数据反馈给中台，结果被腾讯云新加坡丢包75延迟500狠狠的上了一课，开发调试都困难，有无大佬提供加速思路？
一时半会不敢找导师，最近刚找他报销服务器费用???
浏览 27提问于2024-03-26
1回答
我在本地服务器上运行了一个使用库编写的服务。可以把它想象成一种网络爬虫。它使用50个线程。我想把它部署在云上，并向上扩展，这样它就可以使用更多的线程。
简单地说，我有两个：带有URL的Qinput和带有页面内容的Qoutput。线程从Qinput中挑选URL，获取网页内容并将其放到Qoutput中
问:我只需将线程数量增加到500、5000或50,000，AWS + Python就可以处理它了吗？在AWS上移植多线程服务时，我应该期待服务无缝运行，还是应该注意一些“标准”设计缺陷？
我知道，尽管它在这里不是问题，因为线程的主要任务是在爬行/抓取页面时调用解释器外部
浏览 1提问于2013-01-09得票数 0
回答已采纳
我写了许多搜索和试验和错误，但没有运气。
我正在尝试在应用程序引擎中部署服务。您可能知道，在应用引擎上部署通常需要两个步骤: 1.在本地开发应用服务器上部署2.如果步骤1成功，则在云上部署
我的问题是在步骤1中加入了第三方python库，比如numpy、sklearn、gcloud等。
我正在尝试在本地devapp服务器中部署服务。当我在main.py脚本中导入numpy或任何其他第三方库时，它抛出一个错误，指出找不到模块。
我使用云sdk，有两个python发行版，默认的python2.7和带python2.7的anaconda。当我更改路径以查找anaconda发行版中的模块时，它找不到云
浏览 0提问于2016-11-30得票数 1
我正在使用phantomjs来构建一个网络爬虫。我目前使用的爬虫是一个使用selenium的Python脚本，它需要一个正在运行的Firefox浏览器。虽然Selenium非常适合于调试脚本(因为我可以使用firebug来检查网页)，但是如果没有GUI，它就不能部署到linux服务器上。因此，我正在尝试将我的Python脚本转换为phantomjs。
为了调试phantomjs脚本，我将页面源代码html保存到磁盘并呈现png屏幕截图，然后在Firefox中打开它以检查源页面。我想知道是否有更好的方法来做到这一点，例如phantomjs的插件，等等。
浏览 1提问于2013-07-31得票数 6
我正在尝试构建一个python脚本，并将其部署为关键云铸造厂或GKE上的HTTP函数/无服务器云函数，但我已经阅读了几篇文章，其中大多数提到使用SA并下载Json密钥、将env变量安装到JSON密钥位置并运行脚本。
但是，在云上部署JSON密钥文件时，如何提供本地下载的JSON密钥文件呢？
我已经通过了下面的链接，但我无法理解，因为我是新的GCP，谁能给我一个详细的和我如何实现这一点？
浏览 13提问于2020-08-17得票数 1
3回答
我在云主机上运行了一个scrapy爬虫，这个爬虫可以一直运行，假如我没有停止爬虫就和主机断开了连接，是不是除了关机就没有办法停止爬虫了？
浏览 397提问于2018-01-27
我有一个用Go写的爬虫，我想从我的电脑移到云服务器上。因此，我正在寻找一个云服务，我看到大多数液滴，实例等.有内存和cpu优化的解决方案。如果我的剧本：
大量使用Go的并发特性
每秒打几千个http电话
在for循环中进行许多简单的add/mul/sub操作，这些循环通过数组循环。
读取存储在内存中的全局变量
浏览 0提问于2022-09-04得票数 0
我使用scrapyd将我的爬虫部署到云平台。爬虫在本地计算机上工作正常。但是现在它只能得到http 400的响应。它被禁止了吗？还是硬件无法处理频繁的请求？我用的是最低规格的。
通常，在我的本地计算机上，响应是http 200状态。
以下是调试日志：
2020-05-04 04:04:31 scrapy.core.engine调试: Crawled (400) I scrape.com> (推荐人： I scrape.com&_ac=1)
浏览 0提问于2020-05-04得票数 0
1回答
目前我使用的是sitecore 6.6和高级数据库爬虫。我的sitecore环境目前是内部部署1 cm，云上部署1张cd。ADC现在工作得很好。
我能知道哪一行sitecore调用了ADC方法吗？sitecore调用ADC的第一个方法是什么？sitecore中的哪一行配置指定了要调用的ADC方法？
浏览 2提问于2013-10-22得票数 0
在服务器上部署了爬虫，想在不使用远程桌面的情况下直接就能查看服务器硬盘上爬虫爬取到的最新数据，想问一下该如何实现？
浏览 345提问于2020-04-16
我在google云上创建了一个服务器，并创建了一个用于测试我的API的迷你软件环境。但是做“部署到云运行”却没有。有一种方法可以在google云上现有的conda环境上执行dockerfile的部署吗？如果是，请告诉我在哪里可以找到教程或例子？
或者会是这样：
FROM python:3.8
USER myuser #an existing user
WORKDIR /home/myuser
RUN conda activate venv # an existing miniconda environment
ENV PATH="/home/myuser/.local/bin:
浏览 4提问于2021-12-13得票数 0
我可以用地址0.0.0.0/0本地连接到mongodb服务器。但是，当我将代码部署到云时，就会得到将错误部署到google云函数的错误。
google函数与python3.7 (beta) atlas mongo db python：-pymongo -dnspython
Error: function crashed. Details: All nameservers failed to answer the query _mongodb._tcp.**-***.gcp.mongodb.net. IN SRV: Server ***.***.***.*** UDP port 53 answe
浏览 0提问于2018-12-02得票数 3
Firebase托管可以配置为direct requests到云函数： 这是否适用于直接部署到云函数的Python Cloud Function，即不使用firebase deploy？这与Python函数特别相关，因为Firebase只能部署Node.js函数。
浏览 11提问于2019-09-24得票数 0
回答已采纳
我一直在使用 (GCF)来设置一个无服务器环境。这很好，它涵盖了我所需要的大部分所需的功能。
但是，对于一个特定的模块，从FTP服务器提取数据，解析提供者文件的持续时间。由于这个原因，我执行的任务在将其部署为云函数时会超时。
此外，一些FTP服务器要求它们将发出这些请求的ip地址白名单。当使用云函数时，除非您以某种方式保留静态地址，否则这是不可能的。
因此，我正在寻找一种替代解决方案，在Google平台上执行云中的Python脚本。所需经费如下：
它需要支持Python3.7
它必须有可能将静态IP地址与其关联。
一次执行应能超过540秒。
理想情况下，应该可以轻松地部署脚本(
浏览 0提问于2019-07-25得票数 0
回答已采纳
1回答
之前先购买了轻量云服务器，后来单独购买了云数据库和cos对象存储,并没有通过已购的轻量云服务器购买轻量数据库。
实际部署时才发现内网好像不通用，虽然同是在一个地域。
这种情况轻量云服务器连接云数据库只能通过开放的外网地址连接吗？
浏览 44提问于2024-09-08
我在一个python项目中工作，该项目既可以与云交互，也可以与USB端口交互。我在python代码中硬编码了VM IP，但我需要将服务器从我的个人帐户迁移到公司的帐户。因为我将这个python项目部署为一个.exe，所以我必须重新构建它(使用pyinstaller)，以防我更改服务器IP。是否可以在迁移后保留此IP？
浏览 6提问于2021-11-01得票数 0
我在Bittorrent Protocol的基础上用java写了一个分布式哈希表torrents爬虫。它在1c2g1m的云服务器A上工作得很好，我从那里得到了一些torrents。 然后我买了另一个云服务器B，叫做Lighthouse。B为1c2g5m，限制为1000g。但是我的爬虫在B上不起作用，我无法获得任何响应，例如find_node响应。 我使用linux nc测试了B的udp发送和接收。没有问题。我还使用这两台服务器互相发送和接收udp数据包。也没问题。 另一件奇怪的事情是，我在B上收到了一些在bep_0051中定义的sample_infohashes请求，ip是127.0.0.1
浏览 42提问于2021-03-22得票数 1
1回答
我正在尝试使用云构造来创建和调用AWS Glue爬虫。爬虫的创建部分(作为目标的发电机数据库)在lambda函数中。 我如何使用云形成来实现所有这些？例如，从s3中存在的cod创建λ函数，在创建lambda函数后，应该触发它来创建爬虫程序，然后应该调用爬虫程序来创建目标表。我希望所有这些都是云的形成。 参考链接：Is it possible to trigger a lambda on creation from CloudFormation template
浏览 21提问于2019-09-17得票数 0
会发生什么事？
我用Python2.7编写了大量的Scrapy爬行器。我需要将它们全部转换为支持Python 3，这种转换必须在1 go内完成。我只能在Python 3爬虫做好部署准备之后才能开始使用。我不能一次部署一个爬虫。
我做了什么/我有什么？
我目前有一个远程分支，它是主分支。让我们称之为遥控器-A。这就是容纳所有爬行器的分支，它们每天都会被执行。这个分支必须继续运作。
对于远程分支，我有本地文件夹/分支，修复错误并创建新的。让我们把它叫做Local.，从主人那里，我推拉。
现在，由于“所有操作都必须保持活动状态”，我需要一个单独的Python 3爬虫的远程分支。这个分支可以称为Rem
浏览 3提问于2019-09-10得票数 0
回答已采纳
1回答
腾讯云产品如何选择？
、、、、
我目前有一个域名，和一台自己的物理机，并且只能通过ipv6访问，但是运营商屏蔽了80端口。现在我在云服务器上部署了一套应用，通过80端口访问，现在云服务器快到期了，我想把应用迁移到自己的服务器上面。但是我就想通过域名+80端口访问机器上部署的应用，有没有类似的产品可以让我将域名映射到腾讯云的ip，通过80端口访问，然后再由腾讯云转发到我的服务器上的81端口（只需要HTTP转发就行）
浏览 161提问于2023-08-02
1回答
我有一个服务器二进制程序()，我正试图在google上部署它。我可以在google云控制台上成功地运行它，并使用控制台中提供的web查看器检查它。我对google云的部署没有什么疑问，我在这里列出了它。
在控制台中运行服务器与部署服务器有什么区别吗？如果有不同之处，我如何在上部署二进制文件？
浏览 7提问于2020-02-17得票数 0
回答已采纳
1回答
我想写一个爬虫来做一些基础设施(路由器，WAPS，系统等)的清单。
所以我理解爬虫，实现是另一回事。
所以，我在服务器上安装了一个应用程序，以及如何部署它。爬虫是怎么开始的？比如说我想盘点未知子网等等？
爬虫是如何返回数据的？
浏览 5提问于2008-12-05得票数 0
同一个项目，在本地和阿里云服务器上，云片网短信服务和极光推送都能正常使用。但该项目部署到腾讯云服务器上，第三方接口失效。在短信和推送的管理后台中，都无发送记录。
浏览 203提问于2016-05-24
我有 轻量应用服务器 和 云MySQL实例，可以通过 轻量应用服务器 使用 mysql -h xxx.xxx.xxx.xxx -P 3360 -uroot -p 连接云MySQL实例，我想知道本地项目怎么通过 轻量应用服务器 走内网连接 云MySQL实例？若是部署到云服务器又该怎么配置，是不是将 外网ip 换成 内网ip 就好？
大佬们，救救孩子
txsql.PNG
浏览 175提问于2021-12-23
服务器错误：爬虫发起抓取，httpcode返回码是5XX ====我的好几个站都这样了，以前百度能正常抓取的，但是最近突然不行了，是什么问题啊？大家的腾讯云服务器有这个问题吗？
浏览 195提问于2016-04-26
1回答
我使用Python和Flask创建了一个小型REST，并能够在Heroku/GitHub (云版本)上部署它。
我无法弄清楚我需要做什么才能在我的本地LINUX Redhat服务器上部署相同的服务器。我在找一个一步步的指南，我需要做的一切。
浏览 0提问于2018-02-02得票数 0
我刚刚开始学习python和爬行。我使用selenium和漂亮的汤来解析和爬行pages.My的问题是，如果我必须制作一个应用程序，或将其部署在某个iis服务器上(或任何其他我不知道的方式，比如它是如何工作的)，我甚至不确定它是否像我从移动应用程序方法中所说的那样工作:)除了我安装的软件包之外，我需要两个外部的东西。铬驱动程序和铬二进制文件。chrome驱动是可用的，但Chrome二进制是我安装chrome后才能获得的东西。在我用谷歌搜索的为数不多的几个东西中，我发现我需要使用docker来运送它。那么，是否必须在服务器上安装chrome才能让爬虫运行?？如何将二进制文件与应用程序一起发布？同
浏览 2提问于2019-12-11得票数 3
我有一些云功能。我使用cloudbuild.yaml和Cloud触发器通过源代码存储库部署这些云功能-- cloudbuild.yaml是。
steps:
- name: 'python:3.7'
entrypoint: 'bash'
args:
- '-c'
- |
pip3 install -r requirements.txt
pytest -rP
- name: 'gcr.io/cloud-builders/gcloud'
args:
- functio
浏览 6提问于2020-05-14得票数 2
回答已采纳
我用python创建了一个部署管理器模板，它在运行时生成资源名称，以便在google云平台上使用相同的模板创建多个部署。部署成功后，需要通过输出暴露web服务器的外部IP地址。我在我的python模板中添加了以下内容：
def GenerateConfig(context):
outputs = []
resources = [
{
} ]
outputs.append({'name': name,
'value': value})
return {&#
浏览 0提问于2018-03-23得票数 3
2回答
获取IIS工作进程崩溃转储
、、、、
我在我的ASP.NET应用中做了一些不好的事情。这可能是我正在使用的任何数量的CTP库，或者我只是没有正确地处理一些东西。但是，当我将我的ASP.NET重新部署到我的Vista安装或我的服务器的IIS6安装时，我崩溃了一个IIS7工作进程。
我已经将问题缩小到我的HTTP爬虫，这是一个多线程的野兽，当被请求时，它会爬取站点以获取有用的信息。在我启动爬虫程序并重新部署应用程序之后，IIS工作进程将崩溃(弹出一条崩溃消息)并继续重新加载应用程序域，而不是正常卸载appDomain并重新加载。
当发生这种崩溃时，我在哪里可以找到崩溃转储进行分析？
浏览 0提问于2008-09-10得票数 9
回答已采纳
我想限制爬虫对我在Heroku上运行的rails应用程序的访问。如果我使用的是Apache或nginX，这将是一项简单的任务。由于该应用程序部署在Heroku上，因此我不确定如何在HTTP服务器级别限制访问。
我曾尝试使用robots.txt文件，但有问题的爬虫程序不支持robot.txt。
以下是我正在考虑的解决方案：
1) rails层中用于限制访问的before_filter。
2)基于机架的解决方案来限制访问
我想知道是否有更好的方法来处理这个问题。
浏览 0提问于2011-04-21得票数 4
回答已采纳
TL，DR;
在生成gRPC描述符文件时，哪个Linux映像是运行Python插件最快/最轻的？
上述API描述符是否应该成为云构建并保存到云存储桶中？
...in命令使用gcloud将API部署到云端点。
细节
我在运行在上的Docker容器中运行一个和ESP。展示了我的应用程序体系结构的图表：
我的高级建筑步骤：
1)使用protoc协议缓冲区编译器创建描述符文件，api_descriptor.pb。
python -m grpc_tools.protoc \
--include_imports \
--include_source
浏览 0提问于2018-08-14得票数 5
回答已采纳
1回答
使用Python的防火墙云函数？
、、、、
我们正在使用GCP的Firebase与Firestore一起开发一个新的移动应用程序。作为这项工作的一部分，我们需要部署许多云功能，这些函数将充当进行后端处理的修复触发器。
我们的目的是通过使用Firebase工具将部署封装在firebase中。但是，当我们试图使用"firebase init函数“启动函数的Firebase项目时，只有两种语言选项是"Javascript”和"Typescript"，唯一可部署的堆栈似乎是Node.js。
在以前的GCP项目中，我们部署了基于Python的云函数(使用gcloud cli)，理想情况下，我们希望继续为Fireba
浏览 0提问于2019-07-22得票数 57
回答已采纳
安卓程序与云服务器上部署的server程序，使用http通信进行通信，但安卓终端访问不了服务器，logcat显示“rto value is too small:0”,我想问一下这个rto怎么设置啊？我把服务器端的程序部署到本机上是能通信的。
浏览 449提问于2016-04-20
我使用具有无限循环的python制作了一个简单的爬虫，所以它不能停止。随机延迟17 ~ 30，这个爬虫爬行相同的一个页面，并找到'href‘链接，定期更新，并存储到Mysql。我使用了Ubuntu服务器。因为我使用了Linux命令
$ nohup python crawer.py &
这个爬虫是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但爬虫突然停止了。第二天我再试一次。而且效果很好！有什么问题吗？这是关于网页的块吗？或者nohup命令有限制时间？非常感谢。
浏览 1提问于2014-05-20得票数 0
回答已采纳
Background：
小程序云开发的时候，每次更新云函数要十来秒到1分钟，有时候还能莫名其妙的更新失败，再试两次才能成功更新+部署。我看你们给的教学视频上，更新一下也要这么久。
Problem：
云函数开发效率奇低无比，每次在云函数里改变一下变量名，都需要上传部署，等大半分钟才能看到结果。
Question：
有没有本地化云函数开发的方式，可以直接在本地运行测试，最后才部署到腾讯服务器的开发方式？
或者说，云函数更新部署怎么才能快一点儿？
浏览 1616提问于2018-11-19
1回答
假设我需要部署一个云服务，它提供如下功能:上传文件到服务器，从服务器下载文件和为用户提供邮件服务。
我遇到了一些可以使用的技术，比如apache struts和JSP。他们会帮助我构建云服务并在我自己的服务器上提供云服务吗？
我自己的服务器将是我的笔记本电脑:它有200 GB的硬盘，使用windows7操作系统，我在里面安装了Apache Tomcat。
浏览 4提问于2011-04-03得票数 0
我有一个项目，我以前已经成功地部署到Google运行中，并且设置了一个触发器，这样在推到爬虫公司在Github上的主要分支时，它就会自动部署。效果很好。
然后我试图重命名github回购，这意味着删除和创建一个新的触发器，现在我无法使它再次工作。
每次构建成功，但部署失败，在云构建中出现此错误：
步骤2-“部署”：错误：(gcloud.run.services.update)云运行错误:容器启动失败。启动失败，然后侦听端口环境变量定义的端口。此修订版的日志可能包含更多信息。
除了回购名称之外，我没有更改任何其他内容，这使我相信修复程序与我的代码无关，但我还是尝试了一些更改。
我已经研究了文章中
浏览 7提问于2021-09-14得票数 1
回答已采纳
我想得到你的帮助。我正在尝试将我的python脚本部署到google，并以cron的身份执行它。我无法将它部署到google云，就像我无法工作一样。有人能帮我吗？提前谢谢。
浏览 7提问于2022-09-12得票数 0
你好我购买了一台腾讯云的轻量应用服务器，但使用ifconfig却完全没有公网ip。导致我的服务器完全没有办法部署服务
浏览 749提问于2021-05-06
早上好,
我有一个我正在努力诊断和解决的问题。首先是免责声明，我大约6、7个月前才开始学习Python，在此之前我没有任何开发经验。我的第一个项目是一个使用Scrapy引擎的web抓取项目。在学习了Docker之后，我决定把它分解成容器。这需要一点时间才能弄明白，但一旦我做到了，我就让它工作起来，并在docker-compose.yml中进行协调。
我有5个服务，一个用于Scrapyd，它是Scrapy引擎运行的守护进程/服务器，一个用于postgres收集抓取的条目，一个用于轮询postgres查找关键字，以及一个postgres服务。最后，我有部署服务，这是给我带来麻烦的地方。
deplo
浏览 24提问于2020-03-14得票数 1
回答已采纳
1回答
云开发环境部署安装nodejs依赖，所以云函数还支持python语言吗？毕竟我看腾讯scf云函数中nodejs和python都是支持的
浏览 1795提问于2019-10-28
我在Mac上，正在为google云平台开发。我创建了vitualenv - virtualenv xyz。我使用- source xyz/bin/activate进行激活，然后，我安装了所需的pkg - pip install python-dateutil，当我执行pip list时，我确实看到python-dateutil在那里，但是当我使用dev_appserver.py .运行服务并尝试发出post请求时。我得到了ImportError: No module named dateutil.parser
问题:在我的appengine_config.py中，我有vendor.add(&#
浏览 2提问于2017-08-25得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
